Функция AI Overviews, которая автоматически генерирует краткие ответы на запросы пользователей в поиске Google, могла представлять вымышленных персонажей и объекты из фан-проекта SCP Foundation в качестве реальных явлений. Об этом сообщило издание Futurism, журналисты которого обнаружили как минимум 20 подобных случаев.
Смотрите также: Google откроет первый в мире музей искусственного интеллекта под названием Dataland
Как искусственный интеллект Google перепутал вымысел с реальностью?
SCP Foundation — один из самых известных коллективных интернет-проектов в жанре ужасов и научной фантастики. Его авторы создают вымышленные истории об аномальных существах, предметах и явлениях, оформляя их в виде якобы секретных правительственных документов. Несмотря на реалистичный стиль подачи, на сайте SCP Foundation прямо указано, что весь контент является художественной выдумкой.
Однако, как утверждает Futurism, в ряде случаев AI Overviews не сообщал пользователям об этом важном контексте.
Одним из примеров стал запрос "SCP-565". По данным издания, система сгенерировала описание "аномальной подвижной человеческой головы", которая передвигается подобно крабу и связана с материалами судебно-медицинской экспертизы и личностью умершего мужчины.
При этом искусственный интеллект якобы ссылался на"официальный документ" SCP как на источник дополнительной информации, не уточняя, что речь идет о вымышленном материале.
Еще более странный случай касался SCP-426 — одного из самых известных объектов вселенной SCP. По сюжету это обычный тостер, который заставляет любого говорить о нём от первого лица. Futurism утверждает, что AI Overviews поддался этому шутливому сюжетному приёму и сформулировал ответ от первого лица, словно сам был этим тостером.
В ответе также упоминались якобы реальные травмы людей, пытавшихся подражать его свойствам.
Среди других примеров издание назвало SCP-922, известный под названием "Другая версия правды", а также SCP-779 — вымышленного паразита, имитирующего фею. В каждом случае система подавала информацию как фактические сведения, а не как элементы художественной вселенной.
Почему это вызывает беспокойство?
Проблема заключается не только в отдельных ошибках. AI Overviews располагается в верхней части страницы поиска и часто является первым источником информации, который видит пользователь.
Если человек не знаком с сообществом SCP Foundation, он может воспринять описанные истории как реальные факты, исследования или задокументированные события. Особенно это касается детей и подростков, которые могут не знать о существовании этого фан-проекта.
Журналисты Futurism обратили внимание, что даже когда AI Overviews использовал слово "лор" или "мифология", система не поясняла, что речь идет о вымышленной вселенной.
Существует ли эта проблема сейчас?
Автор материала в Digital Trends Праноб Мехротра попытался самостоятельно воспроизвести результаты, описанные Futurism, но получил иную картину.
При проверке запрос "SCP-565" вообще не вызвал появление AI Overview. Зато в новом режиме AI Mode система прямо обозначила SCP-565 как "вымышленную аномалию".
Попытки повторить аналогичные запросы в отношении других объектов SCP также не дали результатов, которые бы подтвердили находки Futurism. Это может свидетельствовать о том, что Google уже частично исправил проблему или изменил алгоритмы обработки таких запросов. Компания ранее уже выпускала обновления для повышения точности AI Overviews и AI Mode, однако полностью устранить ошибки пока не удалось.
Не первый скандал вокруг AI Overviews
История с SCP Foundation стала очередным эпизодом в серии ошибок искусственного интеллекта Google.
Ранее AI Overviews уже попадал в заголовки СМИ из-за неточных дат, вымышленных исторических фактов и других так называемых "галлюцинаций" ИИ. Одним из самых известных случаев стал совет добавлять нетоксичный клей в соус для пиццы, чтобы сыр лучше держался на поверхности. Подобные инциденты демонстрируют главную проблему современных генеративных систем: они способны уверенно формулировать ответы даже тогда, когда информация является неверной или полностью вымышленной.
Несмотря на значительный прогресс технологий искусственного интеллекта, случай с SCP Foundation показывает, что автоматические поисковые помощники все еще могут ошибаться при определении контекста источников. Особенно сложной задачей для них остаётся разграничение между художественной выдумкой, сатирой, фанатским творчеством и реальными фактами.