Чудеса технологій: паралізований чоловік заговорив через 20 років

Чоловік може виробляти слова і речення, просто намагаючись їх вимовити, пише видання NYT. 

Читайте ще Мозок під прицілом коронавірусу: сенсаційні дослідження вчених та етична дилема

Історія Панчо 

Він навчався у школі лише до шостого класу. Потім був молодим здоровим працівником на виноградниках, поки у 20 років з ним не сталася жахлива автокатастрофа після футбольного матчу.

Я думаю, ця аварія зробила мене кращим та розумнішим,
– написав він NYT.

З того часу він таки довчився у середній школі та навіть пройшов уроки в коледжі. Отримав диплом веброзробника і почав вчити французьку мову. Після аварії була операція з приводу серйозних пошкоджень шлунку, після чого його виписали. Молодий чоловік гуляв, розмовляв та думав що на шляху до одужання. 

"Це було жахливо, я хотів більше ніколи не повертатися з коми", – згадує він. 

Коли Панчо намагається говорити, електроди, під'єднані до мозку, передають сигнали до комп'ютера. Потім бажані слова з'являються на екрані. Першими з них були "моя родина надворі". Досягнення вже опубліковане у New England Journal orf Medicine і воно може потенційно допомогти багатьом пацієнтам, які через різні причини позбавлені можливості говорити. 

Панчо комунікує за допомогою комп'ютеру / Фото NYT

"Ми зайшли далі ніж могли собі уявити", – розповіла Мелані Фрід-Окен, професорка неврології та педіатрії в Університеті здоров'я та науки Орегону. Історія Панчо почалась три роки тому, коли він погодився працювати зі спеціалістами з нейронаук. Зараз йому 38, але тоді вчені навіть не були впевнені, що його мозок зберіг необхідні мовленнєві механізми. 

"Та частина мозку була сплячою, ми не знали, чи прокинеться вона, щоб Панчо знову заговорив", – пояснив доктор Едвард Чанг, голова відділу неврологічної хірургії в Університеті Сан-Франциско, Каліфорнія. Він керував процесом. 

Протези для мови 

Нова технологія називається мовне нейропротезування. Вона – частина цілого сплеску нововведень, які спрямовані на допомогу десяткам тисяч людей, які не можуть говорити (але їхній мозок ще містить нервові шляхи для цього).

Команда виготовила незвичний імплант – прямокутний лист зі 128 електродами, які мали ловити сигнали з ділянок мозку, відповідальних за рух, мову, язик, губи, щелепу, гортань. Провели 50 сеансів за 81 тиждень. Імплант був пов'язаний з технікою за допомогою кабелю на голові Панчо. Його просили вимовити слова із "загального списку", таких було 50. Загалом, він видавав від 15 до 18 слів на хвилину. 

​Звукові загадки Загадкові звуки, які не можуть пояснити науковці: чим вони лякають

Серед слів були "музика", "комп'ютер", "голодний", їх намагався розпізнати спеціальний штучний інтелект. Доктор Чанг думає, що можливе і швидше декодування, але незрозуміло, чи воно колись наблизиться до нормальної розмови – близько 150 слів на хвилину. Іноді сам Панчо завалював експеримент, бо починав сміятися або не стримував емоцій. 

Система перекладає мозкову діяльність, яка зазвичай контролює голосовий тракт, безпосередньо у слова та речення,
– розповів докторант Девід Мойсей, який розробив її разом з двома іншими дослідниками – Джоном Метцгером та Джессі Лю. 

Пізніше, Панчо намагався спілкуватися з оточуючими. Наприклад, просив "принесіть мої окуляри, будь ласка", "моя медсестра поруч" та відповідь на питання "Як сьогодні?" – "Я дуже добре". З 9000 спроб Панчо щось вимовити, алгоритм зрозумів половину. Коли він намагався сказати щось, написане на екрані, все стало ще краще. 

Панчо під час сеансу з науковою командою / Фото NYT

Взагалі, ці добрі новини – кульмінація десятків років досліджень. Команда доктора Чанга склала карту мозкової активності для всіх голосних та приголосних звуків. І навіть аналізувала мозок здорових людей, щоб отримати "комп'ютеризовану мову". Електроди, звісно, не можуть читати думки Панчо, але ловлять сигнали, відповідні кожному слову. 

Важливе відкриття 

Завдяки алгоритму автоматичного виправлення мови, комп'ютер розпізнавав окремі слова в реченнях майже три чверті часу і чудово декодував цілі речення половину часу.

Розшифровка мови за допомогою електричних сигналів мовленнєвій моторній зоні мозку це новаторство,
– сказала Мелані Фрід-Окен. 

Щоправда, конкретно її дослідження стосується цієї самої теми, але за допомогою ковпаку з електродами, а не імпланту. Панчо спілкувався з журналістами NYT через е-мейли, важко набираючи символ за символом за допомогою вказівника на бейсболці. 

Це метод, на який він зазвичай покладається, але він був дуже складним та громіздким. Панчо був змушений постійно нахиляти голову вперед та вниз і набирати букву по одній. Можливість розпізнавати його мовлення прямо в мозку "може змінити моє життя", – упевнений він. До початку використання імпланту, жодна миша не була достатньо швидка. 

Актуально Клітини-камікадзе: чим нейтрофіли дивують вчених

"Лікарі завжди казали, що у мене нульовий шанс щось покращити. Неможливість комунікувати, мати нормальну розмову та виражати себе це дуже руйнує мене. Дуже важко з цим жити. Тепер у мене є другий шанс", – написав він в електронному листі. 

Доктор Лі Хохберг / Фото Center for biomedical Engineering

Актуальність неможливо переоцінити, визнає автор проєкту BrainGate доктор Лі Хохберг. Він імплантує більш дрібні електроди, щоб зчитувати сигнали з нейронів. Нещодавно йому вдалося розшифрувати спроби пацієнта писати від руки. "Це лише питання часу, коли з'явиться клінічна система відновлення зв'язку", – вважає він. 

Втім, проблеми та недосконалості ще присутні. Наприклад, алгоритм часто плутав слова "збирається" та "принести", "робити" та "ти". Слова на англійську F (faith, family) вважав словами на букву V (very). Довгі речення від Панчо часто передавалися невірно. Пандемія робила сеанси неможливими місяцями. 

Але дослідники помітили, що у "мозку Панчо щось змінюється", бо результати під час занять були кращими. Зараз Панчо пересувається на електричному інвалідному візку, яким керує джойстиком. У магазинах він довго стоїть біля чогось, поки касири не розуміють, що він хоче. В установі, де він живе, завжди дивуються, як він це робить і ще більше – як його розуміють. 

Наразі, команда хоче розробити бездротові імпланти з більшою чутливістю, щоб уникати зараження. В програмі бере участь все більше людей, тож вчені сподіваються знайти індивідуальні мозкові варіації. "Спочатку я хотів зробити щось для себе, бодай крихітне, – сказав Панчо. – Але тепер бачу, що це не лише для мене".