Нейросеть Disney Research реалистично заменяет лицо на видео

Благодаря новым исследованиям Disney, замена лица может стать высококачественным инструментом для студий визуальных эффектов, которые работают над голливудскими блокбастерами. Однако, не исключено, что систему могут использовать для реалистичной подделки видеозаписей с целью развлечений или того хуже.

Интересно Искусственный интеллект вместо судьи: программу научили делить имущество во время развода

Одна из самых больших проблем при создании видео-дипфейков – создание большой базы данных изображений лица человека из тысяч различных выражений и поз, которыми можно заменить целевое видео. Чем больше база данных и чем выше качество изображений, тем лучше будет выходить замена лица. Но изображение (чаще всего снимки знаменитостей) обычно берутся из источников с ограниченным разрешением. Даже видеофайл 4K может дать изображение лица с низким разрешением, учитывая, как часто маленькие лица появляются в общем кадре.

Исследователи из ETH Zurich и Disney Research Studios детально описывают несколько инноваций и новых подходов к автоматизированной замене лица, которые дают высококачественные результаты с достаточным разрешением, чтобы их можно было использовать для реального производства фильмов.

Как работает алгоритм Disney

Новый алгоритм, созданный исследователями, начинается с фактического изменения выходного (или целевого видео), чтобы облегчить замену. Движение в исходном кадре тонко стабилизируется и сглаживается, чтобы устранить потенциальные проблемы, такие как слегка дрожащая губа, которая потенциально может сбросить автоматизированный процесс замены на более позднем этапе.

Исследователи также улучшили несколько других шагов на этом пути, включая смешивание нового лица с оригиналом с помощью улучшенных методов, чтобы лучше соответствовать общему контраста. Алгоритм даже намного лучше справляется с генерацией промежуточных кадров, необходимых для создания плавных результатов, чтобы новое лицо не прыгало при воспроизведении измененных кадров.

Видео работы алгоритма Disney

Пикантный Алгоритм научили определять симулирует ли женщина оргазм

Где это применимо

Замена лица часто применяется в кино- и телепроизводстве: часто дублер-каскадер на мгновение попадает в кадр, требуя большой постпродакшн-обработки, чтобы гарантировать правильный вид актера во всех кадрах.

Исправление этих проблем часто может потребовать пересъемки или умной компьютерной графики. С помощью этого нового исследования существующие кадры с одной и той же съемки можно использовать для обучения алгоритма, который потом исправит эти проблемы самостоятельно.

Новый инструмент также значительно усложнит обнаружение видео-дипфейков. Можно предположить, что в интернете скоро появится новая волна поддельных видеороликов, где лица реальных актеров заменяются на лица знаменитостей или других людей.