Google представляє Lumiere Generative AI для створення реалістичних фото та відео

Як це працює

Однією з головних особливостей Lumiere є те, що він здатен створювати рух, який виглядає реалістично і не має переривчастості. Це можливо завдяки тому, що програма створює всі відеокадри одночасно, замість того, щоб використовувати ключові кадри й вивчати, яким має бути рух. За допомогою цього новітнього інструменту генеративного ШІ ми можемо зайти дуже далеко і створити щось дивовижне.

Дивіться також Штучний інтелект, навмисно зіпсований дослідниками, не змогли перевчити до нормального стану

Lumiere також використовує дифузійні імовірнісні моделі, які допомагають генерувати зображення. Це поєднується з просторово-часовою мережею U-Net, яка слугує архітектурою, що забезпечує тимчасове масштабування вгору і вниз, а також "блоки уваги", які додаються до зображень. Найкраще те, що цей новий інструмент генеративного ШІ можна використовувати з багатьма іншими моделями, що допоможе створювати зображення та відео, які виглядатимуть набагато реалістичніше, ніж все, що ми бачили раніше.

Lumiere можна використовувати для створення наступного:

• Сінемаграфій: коли анімується окремий фрагмент зображення. Наприклад, на картинці з вогнищем ви можете зробити рухливим вогонь. Або на картинці з чашкою кави анімувати пару.
• Малювання: об'єкт у відео замінюється на інший. Наприклад, можна відредагувати одяг людини або додати те, чого раніше в кадрі не було.
• Стилізованої генерації: використовуючи один еталонний приклад, Lumiere може генерувати в цьому ж стилі.
• Зображення у відео: допомагає перетворити на відео будь-яке потрібне зображення.
• Відео до відео: Дозволяє користувачам створювати відео в іншому художньому стилі.
• Текст у відео: створення відео з текстового опису.
• Стилізація відео: тут Google показує як приклад відео з жінкою, яку штучний інтелект редагує, щоб надати їй різного вигляду – ніби вона зроблена з паперу, квітів, конструктора.
• Домальовування: ви можете заповнити відсутній фрагмент з урахуванням сусідніх областей на відео. Наприклад, у вас в центрі кадру є якась перепона, яку треба видалити, або збоку порожня чорна область. ШІ аналізує картинку і домальовує так, наче все так і було.

Як працює Lumiere: відео

Поки що тривалість відео становить лише 5 секунд, а можливості створювати відеопереходи та кілька ракурсів зйомки немає.

Варто також зазначити, що якщо ви хочете спробувати Lumiere, ви не зможете зробити це за допомогою звичайного графічного процесора. Потрібно мати щось потужне, що керує графічною потужністю вашого комп'ютера, інакше інструмент просто не працюватиме, що цілком логічно.