Програма називається Audio2Face. Її бета-версія вже доступна для завантаження і працює одразу з кількома мовами. Української серед них, на жаль, немає.
Цікаво Випробувати метавсесвіт на собі можна буде в магазинах Facebook по всьому світу
Як працює програма
- Програма Audio2Face побудована на основі відкритої платформи Nvidia Omniverse, що дозволяє створювати моделі в режимі реального часу.
- На основі аудіозаписів технологія штучного інтелекту Nvidia робить 3D-анімацію обличчя, відповідним чином створюючи рухи губ та м'язів обличчя.
- Технологія може створювати анімацію як на основі готового файлу, який можна завантажити в програму, так і в реальному часі, для чого знадобиться мікрофон.
Демонстраційна версія використовує модель персонажа Digital Mark. За бажанням для роботи можна взяти обличчя з будь-якими рисами.
Що може технологія: відео
Анімацію, призначену для одного персонажа, можна перенести на іншого – наприклад, з людини на носорога: відео
На що здатна технологія: відео
На що здатна технологія: відео
Програма підтримує чотири мови:
- англійську,
- французьку,
- італійську,
- російську.
Компанія вже анонсувала, що в майбутньому Audio2Face зможе обробляти будь-які мови.
Точні строки виходу фінальної й повністю робочої версії невідомі. Ця розробка дозволить ігровим студіям створювати кращих персонажів для своїх проєктів. Вони зможуть говорити з реалістичною мімікою, яка буде відповідати сказаним фразам.
До речі, ще навесні компанія демонструвала перші навчальні ролики: відео