Как объясняют исследователи в статье, которая сейчас проходит рецензирование, ИИ-модель под названием MinD-Video была "обучена" на общедоступных данных фМРТ (в частности, на данных, полученных в случаях, когда человеку показывали видео во время записи его мозговой активности) и на расширенной модели ИИ-генератора изображений Stable Diffusion.
Интересно Искусственный интеллект научили читать мысли и воспроизводить их в тексте без имплантирования в мозг
Результаты
Используя это сочетание, исследователи смогли создать "высококачественные" реконструкции видео, которые до этого показывали участникам эксперимента. Для этого они считывали данные мозговой активности в момент просмотра.
По словам авторов, их модель смогла реконструировать эти видео со средней точностью 85% на основе "различных семантических и пиксельных метрик".
Оригинал и реконструкция / Фото Chen
Понимание информации, скрытой в нашей сложной мозговой деятельности, представляет собой большую загадку в когнитивной нейронауке. Мы показываем, что высококачественные видео с произвольной частотой кадров могут быть реконструированы с помощью Mind-Video,
– говорится в статье.
Эта работа основывается на предыдущих попытках исследователей использовать ИИ для воспроизведения изображений, анализируя только мозговые волны. Новые видеорендеринги ИИ, в целом, достаточно впечатляющие, хотя и не полностью точны. На нынешнем этапе развития технологии она позволяет уловить основную суть того, что видит человек, но не передает всех деталей. Несколько сравнений оригинальных и "реконструированных" видео можно найти на веб-сайте исследователей.
- Видео с медузой разработка интерпретировала в клип, где плавает рыба.
- Также рыбу можно увидеть вместо видео с черепахой.
- Видео с толпой людей, идущих по оживленной улице, превратилось в такую же многолюдную сцену, но со значительно более яркими цветами.
Хотя эти исследования увлекают, мы все еще далеки от будущего, в котором сможем надеть шлем и получить идеально точный видеопоток, сгенерированный искусственным интеллектом, обо всем происходящем вокруг нас.