ИИ научился читать мысли и воспроизводить изображения из воображения человека

Как работает генеративный декодер мозга

Как сообщает издание Futurism, команда исследователей во главе с Михаль Ирани из Института науки Вейцмана создала модель, которая обеспечивает высокую точность воспроизведения изображений по сравнению с предыдущими аналогами.

Для обучения системы ученые использовали общедоступный набор данных фМРТ-сканов восьми испытуемых, которым показывали тысячи различных картинок. Специалисты выбрали более поздние сканы высокого разрешения, на которых можно разглядеть объемы мозга размером всего в один кубический миллиметр нейронов.

Разработанный декодер мозга состоит из двух основных ветвей: одна определяет структуру изображения, а другая – его содержание. Вместе они передают данные в диффузионную модель искусственного интеллекта, которая и создает итоговую картинку.

Результаты выглядят впечатляюще. Если существует способ незаметно извлекать информацию о том, что вы думаете, то 150 лет научной фантастики могут сбыться в любой момент, и это вызывает тревогу по многим причинам,
– прокомментировал нейробиолог из Калифорнийского университета в Санта-Барбаре Томми Спрейг.

Синтетические данные и неизбежные ошибки

Чтобы повысить точность модели ИИ в условиях ограниченного количества реальных сканов мозга, ученые применили хитроумный трюк. Они обучили дополнительную модель-кодировщик, которая работает в обратном направлении и предсказывает мозговую активность на основе конкретного изображения.

Этот кодировщик генерирует множество синтетических сканов мозга. Декодер использует эти данные для воссоздания изображения, повторяя процесс до тех пор, пока результат не станет максимально похожим на оригинал. Благодаря такому подходу отпала необходимость полагаться только на те фотографии, которые показывали во время реального фМРТ-сканирования.

Впрочем, система пока работает не идеально. Михаль Ирани отметила, что технология иногда допускает ошибки. Например, в одном из экспериментов нейросеть воспроизвела собаку в ванной как козу в ванной.

Перспективы и угроза конфиденциальности

С одной стороны, новая технология может полностью изменить жизнь парализованных людей, утративших возможность физически общаться с окружающим миром. С другой стороны, со временем это может уничтожить конфиденциальность человеческих мыслей. Пока для работы декодера требуются огромные и дорогостоящие аппараты фМРТ. Однако подключение подобных алгоритмов к портативным устройствам ЭЭГ может полностью изменить правила игры.

Я не сомневаюсь, что это исследование проводилось с благими намерениями, но, думаю, совершенно очевидно, что его могут использовать для этически и социально проблемных коммерческих целей,
– сказал нейробиолог и философ Мюнхенского технического университета в Германии Марчелло Иенка.

Такие портативные гаджеты можно откалибровать под конкретный мозг, что потенциально позволит компаниям считывать информацию без согласия пользователя. Именно поэтому научное сообщество уже сейчас подчеркивает необходимость обсуждения вопросов защиты личных данных человеческого мозга.