За розробкою стоїть компанія Google. Вона розробила нейромережевий сервіс MusicLM, завдання якого полягає у створенні музичних творів. Приклади робіт можна послухати на демо-сайті.
Цікаво Штучний інтелект від Microsoft імітує будь-який людський голос
Як це працює
MusicLM генерує музику за текстовими запитами. Користувач може задати жанр, настрій, темп та інші бажані нюанси.
Ми представляємо MusicLM – модель, що генерує високоякісну музику з текстових описів, на кшталт "заспокійлива скрипкова мелодія, підкріплена спотвореним гітарним рифом",
– розповідають розробники на сайті.
MusicLM розглядає процес умовної генерації музики як ієрархічну задачу моделювання послідовності, і генерує музику з частотою 24 кілогерців, яка залишається незмінною протягом декількох хвилин. Розробники запевняють, що MusicLM перевершує попередні системи як за якістю звуку, так і за дотриманням текстового опису.
- Нейромережа також може об'єднувати кілька різних творів в один загальний. Для цього в анотації потрібно вказати описи для кожного з них.
- Крім того, можна вибрати рівень володіння інструментами — наприклад, для того, щоб композицію начебто зіграв музикант-початківець або, навпаки, віртуоз.
- Інструкції також можуть надаватись і в формі звуків. Наприклад, користувач наспівує чи насвистує мелодію, а нейромережа адаптує її до повноцінного треку з урахуванням стилю.
Нейромережа не позбавлена недоліків. Іноді можна помітити спотворення в звуці, а генерувати вокал вона хоч і намагається, але майже не вміє — замість осмислених слів виходить якась плутанина.
Випробувати MusicLM самостійно поки що не вийде, адже технологія перебуває на початковій стадії розробки й доступна тільки її творцям.