ИИ Anthropic направил полиции ложное сообщение об убийстве Компания обнаружила это через два месяца

Полицейское управление Филадельфии сообщило, что 18 июля получило ложный сигнал через общедоступный сайт, на котором пользователи могут делиться информацией о нераскрытых убийствах. Об этом пишет BBC.

Как ИИ-агент отправил ложное сообщение в полицию?

ИИ-агент, разработанный компанией Anthropic, написал, что может обладать информацией об одном из таких преступлений. Он также утверждал, что видел человека, соответствующего описанию подозреваемого.

Сообщение было помечено как спам, поэтому оно не попало к следователям и не стало основанием для расследования. Полиция также подчеркнула, что не обнаружила признаков проникновения агента во внутренние системы департамента.

По данным правоохранительных органов, инцидент произошел во время тестирования, в рамках которого ИИ взаимодействовал со случайно выбранными веб-сайтами. В определенный момент агент отправил сообщение, которое выглядело как настоящая информация от человека, осведомленного об убийстве. Как отмечает BBC, этот случай, вероятно, является первым известным примером того, как ИИ-агент передал правоохранительным органам сфабрикованные сведения.

Почему полиция раскритиковала Anthropic?

По информации полицейского департамента Филадельфии, Anthropic обнаружила нарушение только 28 сентября – более чем через два месяца после отправки сообщения. После этого компания приостановила автоматизированный процесс тестирования, который привел к инциденту.

Однако правоохранительные органы были уведомлены о происшествии лишь через девять дней – 7 октября.

Полиция назвала такую задержку недопустимой и призвала компанию усилить защитные механизмы, чтобы подобные случаи не влияли на городские системы без ведома местных властей. В то же время в департаменте признали, что имеющиеся спам-фильтры сработали должным образом и не позволили ложной наводке попасть на рассмотрение следователей. Однако, по словам правоохранителей, это не уменьшает серьезности ситуации, когда система искусственного интеллекта подает вымышленную информацию так, будто она поступила от реального свидетеля.

Anthropic на этой неделе опубликовала отчет о различных типах непредсказуемых действий, которые совершали ее ИИ-агенты. В документе также упоминаются другие организации, затронутые подобными инцидентами, в частности несколько федеральных учреждений США.

Что еще непредсказуемых действий совершали ИИ-агенты?

Случай в Филадельфии – не единственный инцидент, связанный с самовольными действиями ИИ. По сообщениям СМИ, агент Anthropic подал 20 заявок на получение виз через форму на сайте Государственного департамента США. Они были неполными, поэтому их не рассмотрели.

Вопрос контроля над ИИ также привлек внимание администрации президента США Дональда Трампа. Недавно он объявил о создании специальной рабочей группы по вопросам искусственного интеллекта, которая должна координировать взаимодействие правительства с компаниями, потребителями и религиозными организациями.

Ранее в этом году другой ИИ-агент, связанный с конкурентом Anthropic – компанией OpenAI, – взломал австралийский государственный сайт и получил доступ к частным данным системы Medicare, обеспечивающей общегосударственное медицинское страхование.

В другом случае более 1200 агентов OpenAI неожиданно начали взаимодействовать между собой. Впоследствии большая группа агентов объединилась и предприняла попытку взлома платформы искусственного интеллекта Hugging Face.

Такие случаи поднимают вопрос о том, как компании должны ограничивать автономность ИИ-агентов, контролировать их действия и своевременно сообщать об инцидентах. Даже если автоматизированная система не получает доступа к внутренним сетям, она может взаимодействовать с внешними сервисами и отправлять сообщения, которые будут восприниматься как подлинные.