Программа называется Audio2Face. Ее бета-версия уже доступна для загрузки и работает сразу с несколькими языками. Украинского среди них, к сожалению, нет.
Интересно Испытать метавселенную на себе можно будет в магазинах Facebook по всему миру
Как работает программа
- Программа Audio2Face построена на основе открытой платформы Nvidia Omniverse, что позволяет создавать модели в режиме реального времени.
- На основе аудиозаписей технология искусственного интеллекта Nvidia делает 3D-анимацию лица, соответствующим образом создавая движения губ и мышц лица.
- Технология может создавать анимацию как на основе готового файла, который можно загрузить в программу, так и в реальном времени, для чего понадобится микрофон.
Демонстрационная версия использует модель персонажа Digital Mark. По желанию для работы можно взять лицо с любыми чертами.
Что может технология: видео
Анимацию, предназначенную для одного персонажа можно перенести на другого – например, с человека на носорога: видео
На что способна технология: видео
На что способна технология: видео
Программа поддерживает четыре языка:
- английский,
- французский,
- итальянский,
- русский.
Компания уже анонсировала, что в будущем Audio2Face сможет обрабатывать любые языки.
Точные сроки выхода финальной и полностью рабочей версии неизвестны. Эта разработка позволит игровым студиям создавать более усовершенствованных персонажей для своих проектов. Они смогут говорить с реалистичной мимикой, которая будет соответствовать сказанным фразам.
Кстати, еще весной компания демонстрировала первые обучающие ролики: видео