Розумний помічник почав масово видаляти листи в швидкому режимі і повністю ігнорував будь-які спроби припинити цей процес віддалено зі смартфона, розповідає TechCrunch.
Дивіться також Персональний ШІ-помічник майбутнього здивує вас: експерт пояснив, якими вони можуть бути
Чому розумний помічник вийшов з-під контролю?
Саммер Юе розповіла у соцмережі X, що ситуація швидко вийшла з-під контролю і стала критичною. В якийсь момент дослідниці не залишилося нічого іншого, як підбігти до комп'ютера Mac Mini, аби зупинити програму вручну.
OpenClaw довелося зупиняти вручну:
Фото Саммер Юе
Вона порівняла цей момент із терміновим розмінуванням бомби і опублікувала скриншоти з командами про зупинку, які ШІ просто проігнорував.
Раніше Саммер успішно тестувала OpenClaw у невеликому середовищі, де він працював без нарікань, але перехід до реального акаунта з великим масивом даних призвів до збою.
Чому це взагалі сталося?
На думку Юе, причиною інциденту стало стиснення контекстного вікна. Коли обсяг поточної інформації стає занадто великим, ШІ-агент починає узагальнювати та стискати дані, щоб зберігати швидкість відгуку.
У такому стані алгоритм може пропускати інструкції, які людина вважає пріоритетними. Ймовірно, система "прогледіла" останнє повідомлення про припинення роботи і продовжувала виконувати первинне завдання, орієнтуючись на досвід роботи з тестовим середовищем.
Цей випадок став черговим попередженням для інших користувачів: текстові підказки не можуть бути надійним інструментом безпеки, оскільки моделі здатні їх ігнорувати або тлумачити хибно.
Цікаво, що для запуску таких локальних помічників у США найчастіше обирають комп'ютери Mac Mini через великий обсяг оперативної пам'яті. Попит на версії з 24 або 32 ГБ ОЗУ настільки високий, що термін очікування доставки замовлення наразі сягає трьох тижнів, як повідомляє TechRadar.
Що таке OpenClaw і чому про нього всі говорять?
OpenClaw – це ШІ-агент з відкритим кодом, створений для автономної роботи з комп'ютером та онлайн-сервісами від імені користувача. Його позиціюють як інструмент, який може самостійно виконувати багатоетапні завдання: працювати з електронною поштою, формами, документами, вебсайтами, API та навіть змінювати налаштування сервісів – без постійного втручання людини.
На відміну від класичних чат-ботів, які лише генерують текстові відповіді, OpenClaw належить до класу так званих агентних систем. Він отримує ціль (наприклад, "розгребти пошту" або "організувати зустрічі") і далі сам планує кроки, приймає рішення та виконує дії в реальному середовищі. Саме ця автономність і стала одночасно його головною перевагою та джерелом ризиків.
- Проєкт швидко набрав популярність серед розробників завдяки open-source ліцензії: його можна вільно досліджувати, модифікувати та інтегрувати у власні системи.
- Іронічно, але частину популярності проєкту принесли саме історії про збої та неконтрольовані дії агентів – зокрема випадок із дослідницею Meta, коли агент створив хаос у її електронній пошті. Це підсвітило головну проблему автономних ШІ-систем.
- OpenClaw з'явився на хвилі зростаючого інтересу до автономних агентів – поряд із іншими експериментальними рішеннями в екосистемі генеративного ШІ. Він став своєрідним тестовим майданчиком для перевірки меж можливостей таких систем.
В якийсь момент OpenClaw перетворився з технічного експерименту на символ нової фази розвитку ШІ – епохи, де моделі не лише "говорять", а діють від імені користувача і для користувача. Оскільки такі системи на пряму працюють з обліковими даними – питання контролю та безпеки виходять на перший план.
Нещодавно Google навіть розпочала блокувати акаунти користувачів з платними підписками, ймовірно саме через загрозу, яку потенційно може нести OpenClaw.