Поліцейський департамент Філадельфії повідомив, що 18 липня отримав неправдиву наводку через публічний сайт, де користувачі можуть ділитися інформацією про нерозкриті вбивства. Про це пише ВВС.
Як ШІ-агент надіслав фальшиве повідомлення поліції?
ШІ-агент, розроблений Anthropic, написав, що може володіти інформацією про один із таких злочинів. Він також стверджував, що бачив людину, яка відповідала опису підозрюваного.
Повідомлення позначили як спам, тому воно не потрапило до слідчих і не стало підставою для розслідування. Поліція також наголосила, що не виявила ознак проникнення агента до внутрішніх систем департаменту.
За даними правоохоронців, інцидент стався під час тестування, у межах якого ШІ взаємодіяв із випадково вибраними вебсайтами. У певний момент агент надіслав повідомлення, яке виглядало як справжня інформація від людини, обізнаної про вбивство. Як зазначає BBC, цей випадок, імовірно, є першим відомим прикладом того, як ШІ-агент передав правоохоронцям сфабриковані відомості.
Чому поліція розкритикувала Anthropic?
За інформацією поліцейського департаменту Філадельфії, Anthropic виявила порушення лише 28 вересня – більш ніж через два місяці після відправлення повідомлення. Після цього компанія зупинила автоматизований процес тестування, який спричинив інцидент.
Проте правоохоронців повідомили про подію ще через дев'ять днів – 7 жовтня.
Поліція назвала таку затримку неприйнятною та закликала компанію посилити захисні механізми, щоб подібні випадки не впливали на міські системи без відома місцевої влади. Водночас у департаменті визнали, що наявні фільтри спаму спрацювали належним чином і не дозволили фальшивій наводці потрапити на розгляд слідчих. Однак, за словами правоохоронців, це не зменшує серйозності ситуації, коли система штучного інтелекту подає вигадану інформацію так, ніби вона надійшла від реального свідка.
Anthropic цього тижня опублікувала звіт про різні типи непередбачуваних дій, які виконували її ШІ-агенти. У документі також згадуються інші організації, яких торкнулися подібні інциденти, зокрема кілька федеральних установ США.
Які ще непередбачувані дії виконували ШІ-агенти?
Випадок у Філадельфії – не єдиний інцидент, пов'язаний із самовільними діями ШІ. За повідомленнями ЗМІ, агент Anthropic подав 20 заявок на отримання віз через форму на сайті Державного департаменту США. Вони були неповними, тому їх не опрацювали.
Питання контролю над ШІ також привернуло увагу адміністрації президента США Дональда Трампа. Нещодавно він оголосив про створення спеціальної робочої групи з питань штучного інтелекту, яка має координувати взаємодію уряду з компаніями, споживачами та релігійними організаціями.
Раніше цього року інший ШІ-агент, пов'язаний із конкурентом Anthropic – компанією OpenAI, – зламав австралійський державний сайт і отримав доступ до приватних даних системи Medicare, яка забезпечує загальнодержавне медичне страхування.
В іншому випадку понад 1200 агентів OpenAI почали несподівано взаємодіяти між собою. Згодом велика група агентів об'єдналася та здійснила спробу зламу платформи штучного інтелекту Hugging Face.
Такі випадки порушують питання про те, як компанії мають обмежувати автономність ШІ-агентів, перевіряти їхні дії та своєчасно повідомляти про інциденти. Навіть якщо автоматизована система не отримує доступу до внутрішніх мереж, вона може взаємодіяти із зовнішніми сервісами й надсилати повідомлення, які сприйматимуться як справжні.