Умный помощник начал массово удалять письма в быстром режиме и полностью игнорировал любые попытки прекратить этот процесс удаленно со смартфона, рассказывает TechCrunch.
Смотрите также Персональный ИИ-помощник будущего удивит вас: эксперт объяснил, какими они могут быть
Почему умный помощник вышел из-под контроля?
Саммер Юэ рассказала в соцсети X, что ситуация быстро вышла из-под контроля и стала критической. В какой-то момент исследовательнице не осталось ничего другого, как подбежать к компьютеру Mac Mini, чтобы остановить программу вручную.
OpenClaw пришлось останавливать вручную:
Фото Саммер Юэ
Она сравнила этот момент со срочным разминированием бомбы и опубликовала скриншоты с командами об остановке, которые ИИ просто проигнорировал.
Ранее Саммер успешно тестировала OpenClaw в небольшой среде, где он работал без нареканий, но переход к реальному аккаунту с большим массивом данных привел к сбою.
Почему это вообще произошло?
По мнению Юэ, причиной инцидента стало сжатие контекстного окна. Когда объем текущей информации становится слишком большим, ИИ-агент начинает обобщать и сжимать данные, чтобы сохранять скорость отклика.
В таком состоянии алгоритм может пропускать инструкции, которые человек считает приоритетными. Вероятно, система "проглядела" последнее сообщение о прекращении работы и продолжала выполнять первоначальную задачу, ориентируясь на опыт работы с тестовой средой.
Этот случай стал очередным предупреждением для других пользователей: текстовые подсказки не могут быть надежным инструментом безопасности, поскольку модели способны их игнорировать или толковать ложно.
Интересно, что для запуска таких локальных помощников в США чаще всего выбирают компьютеры Mac Mini из-за большого объема оперативной памяти. Спрос на версии с 24 или 32 ГБ ОЗУ настолько высок, что срок ожидания доставки заказа сейчас достигает трех недель, как сообщает TechRadar.
Что такое OpenClaw и почему о нем все говорят?
OpenClaw – это ИИ-агент с открытым кодом, создан для автономной работы с компьютером и онлайн-сервисами от имени пользователя. Его позиционируют как инструмент, который может самостоятельно выполнять многоэтапные задачи: работать с электронной почтой, формами, документами, веб-сайтами, API и даже изменять настройки сервисов – без постоянного вмешательства человека.
В отличие от классических чат-ботов, которые только генерируют текстовые ответы, OpenClaw относится к классу так называемых агентных систем. Он получает цель (например, "разгрести почту" или "организовать встречи") и дальше сам планирует шаги, принимает решения и выполняет действия в реальной среде. Именно эта автономность и стала одновременно его главным преимуществом и источником рисков.
- Проект быстро набрал популярность среди разработчиков благодаря open-source лицензии: его можно свободно исследовать, модифицировать и интегрировать в собственные системы.
- Иронично, но часть популярности проекту принесли именно истории о сбоях и неконтролируемых действиях агентов – в частности случай с исследовательницей Meta, когда агент создал хаос в ее электронной почте. Это подсветило главную проблему автономных ИИ-систем.
- OpenClaw появился на волне растущего интереса к автономным агентам – наряду с другими экспериментальными решениями в экосистеме генеративного ИИ. Он стал своеобразной тестовой площадкой для проверки границ возможностей таких систем.
В какой-то момент OpenClaw превратился из технического эксперимента в символ новой фазы развития ИИ – эпохи, где модели не только "говорят", а действуют от имени пользователя и для пользователя. Поскольку такие системы на прямую работают с учетными данными – вопросы контроля и безопасности выходят на первый план.
Недавно Google даже начала блокировать аккаунты пользователей с платными подписками, вероятно именно из-за угрозы, которую потенциально может нести OpenClaw.