Функція AI Overviews, яка автоматично створює короткі відповіді на запити користувачів у пошуку Google, могла представляти вигаданих персонажів і об'єкти з фанатського проєкту SCP Foundation як реальні явища. Про це повідомило видання Futurism, журналісти якого виявили щонайменше 20 подібних випадків.
Дивіться також Google відкриє перший у світі музей штучного інтелекту під назвою Dataland
Як штучний інтелект Google переплутав вигадку з реальністю?
SCP Foundation є одним із найвідоміших колективних інтернет-проєктів у жанрі жахів та наукової фантастики. Його автори створюють вигадані історії про аномальні істоти, предмети та явища, оформлюючи їх у вигляді нібито секретних урядових документів. Попри реалістичний стиль подачі, на сайті SCP Foundation прямо зазначено, що весь контент є художньою вигадкою.
Однак, як стверджує Futurism, у низці випадків AI Overviews не повідомляв користувачам про цей важливий контекст.
Одним із прикладів став запит "SCP-565". За даними видання, система згенерувала опис "аномальної рухомої людської голови", яка пересувається подібно до краба та пов'язана з матеріалами судово-медичної експертизи й особою померлого чоловіка.
При цьому штучний інтелект нібито посилався на "офіційний документ" SCP як на джерело додаткової інформації, не уточнюючи, що йдеться про вигаданий матеріал.
Ще дивніший випадок стосувався SCP-426 – одного з найвідоміших об'єктів всесвіту SCP. За сюжетом це звичайний тостер, який змушує будь-кого говорити про нього від першої особи. Futurism стверджує, що AI Overviews піддався цьому жартівливому сюжетному прийому та сформулював відповідь від першої особи, ніби сам був цим тостером.
У відповіді також згадувалися нібито реальні травми людей, які намагалися наслідувати його властивості.
Серед інших прикладів видання назвало SCP-922, відомий під назвою "Інша версія правди", а також SCP-779 – вигаданого паразита, який імітує фею. У кожному випадку система подавала інформацію як фактичні відомості, а не як елементи художнього всесвіту.
Чому це викликає занепокоєння?
Проблема полягає не лише в окремих помилках. AI Overviews розміщується у верхній частині сторінки пошуку та часто є першим джерелом інформації, яке бачить користувач.
Якщо людина не знайома зі спільнотою SCP Foundation, вона може сприйняти описані історії як реальні факти, дослідження або задокументовані події. Особливо це стосується дітей та підлітків, які можуть не знати про існування цього фанатського проєкту.
Журналісти Futurism звернули увагу, що навіть коли AI Overviews використовував слово "лор" або "міфологія", система не пояснювала, що йдеться про вигаданий всесвіт.
Чи існує проблема зараз?
Автор матеріалу в Digital Trends Праноб Мехротра спробував самостійно відтворити результати, описані Futurism, але отримав іншу картину.
Під час перевірки запит "SCP-565" взагалі не викликав появу AI Overview. Натомість у новому режимі AI Mode система прямо позначила SCP-565 як "вигадану аномалію".
Спроби повторити аналогічні запити щодо інших об'єктів SCP також не дали результатів, які б підтвердили знахідки Futurism. Це може свідчити про те, що Google вже частково виправив проблему або змінив алгоритми обробки таких запитів. Компанія раніше вже випускала оновлення для підвищення точності AI Overviews та AI Mode, однак повністю усунути помилки поки не вдалося.
Не перший скандал навколо AI Overviews
Історія з SCP Foundation стала черговим епізодом у серії помилок штучного інтелекту Google.
Раніше AI Overviews уже потрапляв у заголовки медіа через неточні дати, вигадані історичні факти та інші так звані "галюцинації" ШІ. Одним із найвідоміших випадків стала порада додавати нетоксичний клей до соусу для піци, щоб сир краще тримався на поверхні. Подібні інциденти демонструють головну проблему сучасних генеративних систем: вони здатні впевнено формулювати відповіді навіть тоді, коли інформація є неправильною або повністю вигаданою.
Попри значний прогрес технологій штучного інтелекту, випадок із SCP Foundation показує, що автоматичні пошукові помічники все ще можуть помилятися при визначенні контексту джерел. Особливо складним завданням для них залишається розмежування між художньою вигадкою, сатирою, фанатською творчістю та реальними фактами.