Новый нейроимплантат для мозга обеспечивает почти мгновенное преобразование мыслей в речь
- Калифорнийский университет разработал нейроимплантат, преобразующий мозговые сигналы в речь в реальном времени, позволяя передавать интонации и тембр.
- Технология использует 256 микроэлектродов для регистрации мозговых сигналов, которые искусственный интеллект преобразует в акустические характеристики.
Разработанная учеными из Калифорнийского университета система нейроимплантации позволяет людям с параличом трансформировать мозговые сигналы в речь почти без задержки. Впервые в истории такие устройства позволяют не только воспроизводить текст, но и передавать интонации, тембр и даже пение.
Новейшее решение для восстановления голоса
Британский физик Стивен Хокинг много лет общался с миром с помощью сенсора в очках, что фиксировал движения мышц щеки и позволял выбирать буквы на экране. За минуту он мог написать одно слово, после чего специальный синтезатор превращал текст в речь. Современные технологии после смерти Хокинга значительно продвинулись вперед: сегодня импланты позволяют непосредственно переводить мозговые сигналы в текст или даже музыку. Однако такие системы долго обрабатывали информацию, имели ограниченный словарь и не воспроизводили интонаций. Команда из Университета Калифорнии под руководством Майтреи Вайрагкар представила нечто прорывное, сообщает 24 Канал со ссылкой на ArsTechnica.
Смотрите также Семь пациентов Neuralink уже получили имплант N1 для управления компьютером мыслями
Новая технология переводит мозговую активность не в слова, а сразу в звуки, делая это в режиме реального времени. Такой подход фундаментально отличает эту разработку от предшественников и открывает путь к созданию полностью цифровой голосовой трактовки.
В исследовании принял участие пациент с тяжелым параличом, известный как Т15. Для работы устройства ему имплантировали 256 микроэлектродов в зону мозга, отвечающую за управление мышцами речевого аппарата. Система регистрирует сигналы нейронов, которые искусственный интеллект распознает и превращает в акустические характеристики, в частности высоту звука и характер звучания. Далее эти данные поступают в "вокодер" (Voice decoder), синтезирующий речь, максимально похожую на голос пациента до болезни. Вся обработка длится всего 10 миллисекунд, поэтому процесс полностью реалистичен и приближен к мгновенному.
В отличие от текстовых решений, новый имплантат не ограничивает выбор слов. Пациент может произносить любые фразы, восклицания, несуществующие слова и даже петь.
Результаты работы впечатляют
Чтобы проверить эффективность, команда сначала попросила слушателей сопоставить запись синтезированной речи пациента T15 с шестью возможными вариантами подобной длины. То есть им давали прослушать фразу пациента, а затем показывали возможные варианты того, что он сказал. Здесь результаты были абсолютно совершенными, система достигла 100-процентной разборчивости.
Проблемы начались, когда команда попробовала тест на транскрипцию, где слушатели должны были работать без каких-либо подсказок. В этом втором тесте уровень ошибок в словах составил 43,75 процента, что означает, что участники правильно распознали чуть более половины сказанных слов. Это, безусловно, лучше, чем реальная речь пациента без помощи, где уровень распознавания составлял лишь чуть более трех процентов, но недостаточно, чтобы нормально общаться.
Технология обещает большие возможности, но ее, очевидно, нужно улучшать. Ученые планируют увеличение количества электродов и дальнейшее совершенствование системы, чтобы достичь устойчивого результата. В ближайшее время стартуют клинические испытания с 1600 электродами.