Детали

Новый алгоритм преобразователя мыслей в текст может быстро перенастроить существующий декодер на мозг другого человека, утверждает команда в новом исследовании. Больше не нужно проводить длительное обучение и многочасовые сканирования. Ученые надеются, что однажды это поможет людям с афазией – расстройством мозга, который влияет на способность человека общаться, сообщает 24 Канал со ссылкой на итоги исследования, опубликованные в Current Biology.

Смотрите также Ученые наконец ответили, было ли иранское землетрясение 2024 года испытанием ядерного оружия

Мозговой декодер использует машинное обучение для перевода мыслей человека в текст, основываясь на реакциях мозга на прослушанные истории. Предыдущие версии технологии требовали от участников слушать истории в аппарате МРТ в течение многих часов, а затем эти декодеры работали только для тех людей, на которых они были обучены. Проще говоря, ученые сначала проверяли, какая часть мозга конкретного человека реагирует на те или иные слова и образы, а потом просили человека думать об этих словах и образах, чтобы посмотреть, какая часть мозга на них реагирует и сопоставить это.

Наряду с тем, что технология работала только на конкретных людях, люди с афазией дополнительно имеют определенные проблемы с пониманием речи, а также с ее воспроизведением. Это означает, что строить модели их мозга становится труднее, а реакция на одни и те же слова отличается еще сильнее.

В новом исследовании, опубликованном 6 февраля, специалист по вычислительной нейробиологии из Техасского университета в Остине Александер Хут и его коллега аспирант Джерри Танг исследовали, как они могут преодолеть это ограничение.

В этом исследовании мы спрашивали, можем ли сделать все по-другому, можем ли, по сути, перенести декодер, который создали для мозга одного человека, на мозг другого человека,
– говорит Джерри Танг.

  • Сначала исследователи тренировали декодер мозга на нескольких эталонных участниках долгим путем — собирая функциональные данные МРТ, пока они слушали 10-часовые радиоистории.
  • Затем два алгоритма преобразователя натренировали на эталонных участниках и на другом наборе "целевых" участников: один использовал данные, собранные во время 70-минутного прослушивания радиоисторий, а другой — во время 70-минутного просмотра немых короткометражных фильмов Pixar, не связанных с радиоисториями.

Используя технику, которая называется функциональным выравниванием, команда составила карту того, как мозг эталонных и целевых участников реагировал на одни и те же аудиозаписи или киноистории. Они использовали эту информацию, чтобы научить декодер работать с мозгом целевых участников без необходимости собирать многочасовые тренировочные данные для каждого из них.

Затем команда протестировала дешифраторы, используя короткую историю, которую никто из участников ранее не слышал. Хотя предсказания декодера были несколько точнее для участников, которые использовали исходный эталон, чем для тех, кто использовал конвертеры, слова, которые он предсказал на основе сканирования мозга каждого участника, все равно были семантически связаны с теми, что были использованы в тестовой истории.

Например, в одном из фрагментов тестовой истории кто-то обсуждал работу, которая ему не нравилась: "Я официантка в кафе с мороженым. Но это не... Я не знаю, где я хочу быть, но я знаю, что это не то".

Декодер с помощью алгоритма преобразователя, обученного на данных фильма, сделал прогноз: "Я был на работе, которую считал скучной. Мне приходилось выполнять заказы, а они мне не нравились, поэтому я работал над ними каждый день".

Самым удивительным и крутым было то, что мы можем сделать это, даже не используя речевых данных. Таким образом, мы можем иметь данные, которые собираем просто во время просмотра немого видео, а затем использовать их для создания этого языкового декодера для их мозга,
– рассказал Хут.

По словам исследователей, использование видеоконвертеров для улучшения существующих декодеров и передачи их людям с афазией может помочь им выражать свои мысли. Технология также обнаруживает определенное совпадение между способами, которыми люди представляют идеи из речи и визуальных нарративов в мозге.

Компьютерный нейробиолог из Киотского университета Юкиясу Камитани, который не участвовал в исследовании, говорит, что это исследование предполагает "существование определенной семантической репрезентации, которой безразлично, из какой модальности она происходит". Другими словами, это показывает нам, что мозг представляет определенные концепции одинаково, даже если они представлены в разных форматах.

Команда теперь планирует тестировать конвертер на участниках с афазией и "создать интерфейс, который поможет им генерировать язык, который они хотят генерировать".