Як працює нова технологія
Раніше нейроінтерфейси "мозок – комп'ютер" фокусувалися лише на одній функції: передачі слів або виконанні одного руху. Проте справжня комунікація вимагає поєднання мовлення та міміки чи жестів. Науковці з Каліфорнійського університету в Сан-Франциско вирішили цю проблему, створивши систему, здатну зчитувати обидва види сигналів одночасно, пише El Espectador.
Головна складність полягала в тому, що нейронні сигнали мовлення та жестів часто перетинаються. Щоб подолати цей бар'єр, під час хірургічної операції науковці встановили 253 електроди на поверхню лівої півкулі головного мозку пацієнтів.
Інтерфейс охоплює досить широку поверхню сенсомоторної кори, тому він може вловлювати сигнали, пов'язані як з мовленням, так і з рухами тіла,
– каже Саманта Брослєр, аспірантка з біоінженерії в Каліфорнійському університеті.
Цифровий аватар та точність розпізнавання
Для розшифровки інформації дослідники застосували алгоритми штучного інтелекту. Вони перетворюють мозкову активність у текст на екрані та керують рухом персоналізованого аватара. Пацієнти самі обирали зовнішність своїх віртуальних двійників: обличчя, одяг та оточення.
У досліді взяли участь троє добровольців під псевдонімами:
- Пацієнт Bravo-1r пережив інсульт у віці 20 років, що призвів до паралічу.
- Учасниця Bravo-3 також постраждала від інсульту.
- Пацієнту Bravo-6 діагностували бічний аміотрофічний склероз.
Науковці протестували систему на 10 фразах і 10 жестах. Пацієнт Bravo-6 лише уявляв жести, не рухаючись тілом, але штучний інтелект успішно розшифрував його наміри.
Під час випробувань точність розпізнавання сягала 100 відсотків у одного з пацієнтів і 75 відсотків у іншого. Фахівці продовжили вдосконалювати алгоритми, усуваючи помилки декодування.
Ці результати є кроком до створення єдиних нейропротезних систем, які поєднують кілька форм комунікації, таких як усне мовлення та жести тіла,
– додають автори дослідження.
Учені зазначають, що це випробування є першою фазою експерименту. Наразі команда працює над розширенням словникового запасу та набору жестів, щоб зробити спілкування людей із важкими порушеннями ще більш природним.