Искусственный интеллект приближает нас к технологии чтения мыслей

Как работает модель Brain-IT

Как пишет издание Merkur со ссылкой на препринт исследования на arxiv.org, специалисты израильского Института науки Вейцмана создали новый ИИ-алгоритм Brain-IT. Технология анализирует данные функциональной магнитно-резонансной томографии и реконструирует то, на что именно смотрел человек во время процедуры. По заявлению команды, их подход передает содержание и пространственное расположение объектов значительно точнее, чем предыдущие аналоги.

В основу алгоритма разработчики заложили модель Brain Interaction Transformer. Система анализирует воксели – крошечные объемные единицы измерения мозгового скана – и объединяет функционально схожие зоны в группы. Это создает общую базу для обработки сигналов как внутри мозга конкретного человека, так и между различными участниками тестирований.

Для генерации изображения алгоритм разделяет входные данные на два потока. Первый отвечает за содержание и помогает модели распознать нужные мотивы. Второй поток определяет пространственную структуру и создает грубое расположение деталей, которое служит каркасом. Благодаря этому система фиксирует не только объекты, но и точное место их расположения на изображении.

Быстрая настройка

Работа системы была оценена на основе известного набора данных Natural Scenes Dataset с участием четырех добровольцев. Модель превзошла альтернативные решения по ключевым критериям: точности пикселей, структурному сходству и уровню узнаваемости сюжета.

Существенным преимуществом стала скорость адаптации к новым пользователям. После предварительного обучения на данных других людей модели Brain-IT хватило всего одного часа дополнительного сканирования нового человека. Ранее для достижения подобного качества алгоритмам требовалось около 40 часов индивидуального сбора данных.

Ограничения технологии

Несмотря на впечатляющие результаты, ученые подчеркивают: это не чтение мыслей в классическом понимании. Система лишь воспроизводит изображения, на которые человек реально смотрит во время эксперимента. Считывать произвольные воспоминания, внутренние размышления или сновидения нейросеть пока не способна, хотя стоит заметить, что это лишь первый шаг, который может открыть гораздо более широкие возможности в будущем. К тому же реалистичность сгенерированного кадра частично обеспечивается встроенными знаниями диффузионной модели, поэтому убедительная картинка не всегда гарантирует стопроцентную точность реконструкции исходного сигнала.

В будущем исследователи планируют проверить возможности Brain-IT для изучения визуального воображения и помощи пациентам с расстройствами сознания.