Google представляет Lumiere Generative AI для создания реалистичных фото и видео

Как это работает

Одной из главных особенностей Lumiere является то, что он способен создавать движение, которое выглядит реалистично и не имеет прерывистости. Это возможно благодаря тому, что программа создает все видеокадры одновременно, вместо того, чтобы использовать ключевые кадры и изучать, каким должно быть движение. С помощью этого новейшего инструмента генеративного ИИ мы можем зайти очень далеко и создать что-то удивительное.

Смотрите также Искусственный интеллект, намеренно испорченный исследователями, не смогли переучить до нормального состояния

Lumiere также использует диффузионные вероятностные модели, которые помогают генерировать изображения. Это сочетается с пространственно-временной сетью U-Net, которая служит архитектурой, обеспечивающей временное масштабирование вверх и вниз, а также "блоки внимания", которые добавляются к изображениям. Лучше всего то, что этот новый инструмент генеративного ИИ можно использовать со многими другими моделями, что поможет создавать изображения и видео, которые будут выглядеть гораздо реалистичнее, чем все, что мы видели раньше.

Lumiere можно использовать для создания следующего:

• Синемаграфий: когда анимируется отдельный фрагмент изображения. Например, на картинке с костром вы можете сделать подвижным огонь. Или на картинке с чашкой кофе анимировать пару на картинке.
• Рисование: объект в видео заменяется на другой. Например, можно отредактировать одежду человека или добавить то, чего раньше в кадре не было.
• Стилизованной генерации: используя один эталонный пример, Lumiere может генерировать в этом же стиле.
• Изображение в видео: помогает превратить в видео любое нужное изображение.
• Видео к видео: Позволяет пользователям создавать видео в другом художественном стиле.
• Текст в видео: создание видео из текстового описания.
• Стилизация видео: здесь Google показывает в качестве примера видео с женщиной, которую искусственный интеллект редактирует, чтобы придать ей разного вида – будто она сделана из бумаги, цветов, конструктора.
• Дорисовка: вы можете заполнить недостающий фрагмент с учетом соседних областей на видео. Например, у вас в центре кадра есть какая-то преграда, которую надо удалить, или сбоку пустая черная область. ИИ анализирует картинку и дорисовывает так, как будто все так и было.

Как работает Lumiere: видео

Пока что продолжительность видео составляет всего 5 секунд, а возможности создавать видеопереходы и несколько ракурсов съемки нет.

Стоит также отметить, что если вы хотите попробовать Lumiere, вы не сможете сделать это с помощью обычного графического процессора. Нужно иметь что-то мощное, что управляет графической мощностью вашего компьютера, иначе инструмент просто не будет работать, что вполне логично.