Подпишитесь на наши ежедневные и еженедельные рассылки, чтобы получать последние обновления и эксклюзивный контент о ведущих в отрасли материалах об ИИ. Узнать больше
Исследователи Adobe представили модель ИИ, которая обещает преобразовать редактирование фотографий, используя мощь видеоданных. Названная «Magic Fixup», эта новая технология автоматизирует сложные корректировки изображений, сохраняя при этом художественный замысел, потенциально преобразуя рабочие процессы в различных отраслях.
Основная инновация Magic Fixup заключается в ее уникальном подходе к обучающим данным. В отличие от предыдущих моделей, которые полагались исключительно на статические изображения, система Adobe обучается на миллионах пар видеокадров. Этот новый метод позволяет ИИ понимать нюансы изменения объектов и сцен в различных условиях освещения, перспективы и движения.
«Мы создаем набор данных изображений, в котором каждый образец представляет собой пару исходных и целевых кадров, извлеченных из одного и того же видео в случайно выбранные временные интервалы», — объясняют исследователи в своей статье. «Мы деформируем исходный кадр в сторону цели, используя две модели движения, которые имитируют ожидаемые пользовательские правки во время тестирования».
Это видеообучение позволяет Magic Fixup выполнять редактирование, которое ранее было сложным для систем ИИ. Пользователи могут вносить грубые изменения в изображение — например, перемещать объекты или изменять их размер — с помощью простых манипуляций стилем вырезания и вставки. Затем ИИ дорабатывает эти правки с замечательной изысканностью.
«Наш метод переносит мелкие детали с исходного изображения и сохраняет идентичность его частей. При этом он адаптирует его к освещению и контексту, определяемым новым макетом», — говорится в статье, подчеркивая способность системы сохранять целостность изображения при внесении существенных изменений.
От грубого редактирования до фотореалистичного волшебства: как работает Magic fixup
Конвейер Magic Fixup использует две модели диффузии, работающие параллельно: экстрактор деталей и синтезатор. Экстрактор деталей обрабатывает эталонное изображение и его зашумленную версию, создавая признаки, которые направляют синтез и сохраняют мелкие детали исходного изображения. Затем синтезатор генерирует вывод, обусловленный грубым редактированием пользователя и извлеченными деталями.
«Наша модельная конструкция явно позволяет переносить мелкие детали из исходного кадра в сгенерированное изображение, при этом строго следуя заданному пользователем макету», — объясняют исследователи. Такой подход позволяет Magic Fixup создавать высокореалистичные результаты, которые точно соответствуют намерениям пользователя.
В пользовательских исследованиях, проведенных командой Adobe, результаты Magic Fixup были в подавляющем большинстве предпочтительнее результатов существующих современных методов. «В 80% случаев правок не менее 75% пользователей предпочли наш метод», — сообщается в статье, что указывает на значительный скачок в качестве вывода.
Трансформация отраслей: далеко идущие последствия редактирования фотографий с помощью искусственного интеллекта
Последствия этой технологии выходят далеко за рамки простой ретуши фотографий. В рекламе арт-директора могли бы быстро создавать прототипы сложных визуальных концепций без обширных фотосессий или трудоемкого ручного редактирования. Производство фильмов и телепередач могло бы увидеть оптимизированные рабочие процессы визуальных эффектов, потенциально сокращая расходы и ускоряя сроки постпроизводства.
Для влиятельных лиц в социальных сетях и создателей контента Magic Fixup может уравнять шансы, позволяя тем, у кого нет профессиональных навыков редактирования, создавать отточенные, высококачественные визуальные материалы. Эта демократизация расширенных возможностей редактирования может привести к всплеску творческого контента на разных платформах, хотя она также поднимает вопросы о подлинности изображений в эпоху легкой манипуляции.
Потенциал этой технологии распространяется на такие области, как криминалистика и сохранение исторических объектов, где Magic Fixup может помочь в восстановлении и улучшении поврежденных изображений, предоставляя новые инструменты как следователям, так и архивистам.
Однако, как и в случае с любым мощным инструментом ИИ, этические проблемы присутствуют. Легкость, с которой можно создавать реалистичные манипуляции с изображениями, может усугубить проблемы дезинформации и цифрового обмана. Adobe, скорее всего, столкнется с необходимостью внедрения мер безопасности и, возможно, некоторой формы цифровых водяных знаков для смягчения потенциального неправомерного использования.
Разработка Magic Fixup также подчеркивает растущую конвергенцию ИИ и креативных инструментов. Поскольку модели машинного обучения становятся все более сложными в понимании и манипулировании визуальными данными, граница между контентом, созданным человеком и ИИ, продолжает размываться. Эта тенденция, вероятно, вызовет продолжающиеся дебаты о природе творчества и авторства в цифровую эпоху.
Сотрудничество вместо конкуренции: неожиданный сдвиг в стратегии Adobe в области ИИ
В неожиданном шаге, который отходит от ее обычной практики, Adobe решила опубликовать исследовательский код Magic Fixup на GitHub. Этот беспрецедентный шаг к открытию исходного кода такой передовой технологии знаменует собой существенный сдвиг в подходе Adobe к разработке ИИ. Традиционно компания тщательно охраняла свои фирменные алгоритмы и инструменты, что делает это решение особенно примечательным в технических и творческих сообществах.
Эта открытость может ускорить разработку аналогичных технологий в отрасли, что потенциально приведет к появлению нового поколения креативных инструментов на базе ИИ. Это также свидетельствует о признании Adobe ценности совместных инноваций в быстро развивающейся области креативности с использованием ИИ.
В то время как творческая индустрия сталкивается с последствиями ИИ, Magic Fixup представляет собой важную веху. Он предлагает заглянуть в будущее, где границы между человеческим творчеством и помощью машин становятся все более текучими. Для профессионалов в областях от графического дизайна до цифрового маркетинга оставаться в курсе этих разработок будет иметь решающее значение для сохранения конкурентоспособности в меняющемся ландшафте.
Хотя Adobe не объявила конкретных сроков интеграции Magic Fixup в свой пакет Creative Cloud, впечатляющая производительность технологии предполагает, что она может достичь пользователей скорее раньше, чем позже. Вопрос сейчас не только в том, как Magic Fixup преобразует визуальное редактирование, но и в том, как эта новая эра совместной разработки ИИ переопределит саму природу цифрового творчества. Одно можно сказать наверняка: мазки кисти будущего будут направляться невидимой рукой с открытым исходным кодом.