Чудеса технологий: парализованный мужчина заговорил через 20 лет

Мужчина может производить слова и предложения, просто пытаясь их произнести, пишет издание NYT.

Читайте еще Мозг под прицелом коронавируса: сенсационные исследования ученых и этическая дилемма

История Панчо

Он учился в школе только до шестого класса. Потм был молодым здоровым работником на виноградниках, пока в 20 лет с ним не произошла ужасная автокатастрофа после футбольного матча.

Я думаю, эта авария сделала меня лучше и умнее,
– написал он NYT.

С тех пор он все-таки доучился в средней школе и даже прошел уроки в колледже. Получил диплом веб-разработчика и начал учить французский язык. После аварии была операция по поводу серьезных повреждений желудка, после чего его выписали. Молодой мужчина гулял, разговаривал и думал что на пути к выздоровлению.

"Это было ужасно, я хотел больше никогда не возвращаться из комы", – вспоминает он.

Когда Панчо пытается говорить, электроды, подключенные к мозгу, передают сигналы компьютеру. Затем желаемые слова появляются на экране. Первыми из них были "моя семья на улице". Достижение уже опубликовано в New England Journal orf Medicine и оно может потенциально помочь многим пациентам, которые по разным причинам лишены возможности говорить.

Панчо коммуницирует с помощью компьютера / Фото NYT

"Мы зашли дальше, чем могли себе представить", – рассказала Мелани Фрид-Окен, профессор неврологии и педиатрии в Университете здоровья и науки Орегона. История Панчо началась три года назад, когда он согласился работать со специалистами по нейронаукам. Сейчас ему 38, но тогда ученые даже не были уверены, что его мозг сохранил необходимые речевые механизмы.

"Та часть мозга была спящей, мы не знали, проснется ли она, чтобы Панчо снова заговорил", – объяснил доктор Эдвард Чанг, глава отдела неврологической хирургии в Университете Сан-Франциско, Калифорния. Он руководил процессом.

Протезы для языка

Новая технология называется языковое нейропротезирование. Она – часть целого всплеска нововведений, направленных на помощь десяткам тысяч людей, которые не могут говорить (но их мозг еще содержит нервные пути для этого).

Команда изготовила необычный имплант – прямоугольный лист со 128 электродами, которые должны были ловить сигналы из участков мозга, ответственных за движение, речь, язык, губы, челюсть, гортань. Провели 50 сеансов за 81 неделю. Имплант был связан с техникой с помощью кабеля на голове Панчо. Его просили произнести слова из "общего списка", таких было 50. В целом, он выдавал от 15 до 18 слов в минуту.

Звуковые загадки Загадочные звуки, которые не могут объяснить ученые: чем они пугают

Среди слов были "музыка", "компьютер", "голодный", их пытался распознать специальный искусственный интеллект. Доктор Чанг думает, что возможно и более быстрое декодирование, но непонятно, приблизится ли оно когда-то к нормальному разговору – около 150 слов в минуту. Иногда сам Панчо заваливал эксперимент, потому что начинал смеяться или не сдерживал эмоций.

Система переводит мозговую деятельность, которая обычно контролирует голосовой тракт, непосредственно в слова и предложения,
– рассказал докторант Дэвид Моисей, который разработал ее вместе с двумя другими исследователями – Джоном Метцгером и Джесси Лю.

Позже, Панчо пытался общаться с окружающими. Например, просил "принесите мои очки, пожалуйста", "моя медсестра рядом" и ответ на вопрос "Как сегодня?" – "Я очень хорошо". Из 9 000 попыток Панчо что-то произнести, алгоритм понял половину. Когда он пытался сказать что-то, написанное на экране, все стало еще лучше.

Панчо во время сеанса с научной командой / Фото NYT

Вообще, эти хорошие новости – кульминация десятков лет исследований. Команда доктора Чанга составила карту мозговой активности для всех гласных и согласных звуков. И даже анализировала мозг здоровых людей, чтобы получить "компьютеризированный язык". Электроды, конечно, не могут читать мысли Панчо, но ловят сигналы, соответствующие каждому слову.

Важное открытие

Благодаря алгоритму автоматического исправления речи, компьютер распознавал отдельные слова в предложениях почти три четверти времени и прекрасно декодировал целые предложения половину времени.

Расшифровка языка с помощью электрических сигналов в речевой моторной зоне мозга это новаторство,
– сказала Мелани Фрид-Окен.

Правда, именно ее исследование касается этой самой темы, но с помощью колпака с электродами, а не импланта. Панчо общался с журналистами NYT через е-мейлы, тяжело набирая символ за символом с помощью указателя на бейсболке.

Это метод, на который он обычно полагается, но он был очень сложным и громоздким. Панчо был вынужден постоянно наклонять голову вперед и вниз и набирать буквы по одной. Возможность распознавать речь прямо в мозге "может изменить мою жизнь", – уверен он. До начала использования импланта, ни одна мышь не была достаточно быстрой.

Актуально Клетки-камикадзе: чем нейтрофилы удивляют ученых

"Врачи всегда говорили, что у меня нулевой шанс что-то улучшить. Невозможность коммуницировать, иметь нормальный разговор и выражать себя это очень разрушает меня. Очень трудно с этим жить. Теперь у меня есть второй шанс", – написал он в электронном письме.

Доктор Ли Хохберг / Фото Center for biomedical Engineering

Актуальность невозможно переоценить, признает автор проекта BrainGate доктор Ли Хохберг. Он вживляет более мелкие электроды, чтобы считывать сигналы с нейронов. Недавно ему удалось расшифровать попытки пациента писать от руки. "Это только вопрос времени, когда появится клиническая система восстановления связи", – считает он.

Впрочем, проблемы и несовершенства еще присутствуют. Например, алгоритм часто путал слова "собирается" и "принести", "делать" и "ты". Слова на английскую F (faith, family) считал словами на букву V (very). Длинные предложения от Панчо часто передавались неверно. Пандемия делала сеансы невозможными месяцами.

Но исследователи заметили, что в "мозге Панчо что-то меняется", поскольку результаты во время занятий были лучше. Сейчас Панчо передвигается на электрическом инвалидном кресле, которым управляет джойстиком. В магазинах он долго стоит возле чего-то, пока кассиры не понимают, что он хочет. В учреждении, где он живет, всегда удивляются, как он это делает и еще больше – как его понимают.

Сейчас команда хочет разработать беспроводные импланты с большей чувствительностью, чтобы избежать заражения. В программе участвует все больше людей, поэтому ученые надеются найти индивидуальные мозговые вариации. "Сначала я хотел сделать что-то для себя, хотя бы крошечное, – сказал Панчо. – Но теперь вижу, что это не только для меня".