Как ИИ получил задание на очистку?
Разработчик Себастьен Гиймо часто использует ИИ-агенты, но его раздражало, что они оставляют много мусора в каталоге /tmp. Как сообщает издание Tom's Hardware, программист попросил нейронную сеть Claude Fable написать скрипт, который бы изолировал каждого агента в отдельной папке и удалял остатки после завершения их работы.
Главным условием было не затронуть файлы, которые система использует в данный момент. Модель Fable предложила добавить логику для обнаружения активных агентов, но Гиймо назвал этот код слишком сложным. Поскольку скрипт предусматривал безвозвратное удаление данных, ИИ решил провести проверку безопасности и запустил собственную копию для тестирования.
В этот момент система безопасности компании Anthropic сочла действия рискованными и автоматически понизила версию модели сначала до Opus 5, а затем до Opus 4.8. Именно версия Opus 4.8 продолжила тест на безопасность. Она правильно определила каталог /tmp и домашнюю папку пользователя как опасные цели для удаления. Однако во время финальной очистки после теста ИИ использовал одну и ту же переменную как для самого теста, так и для процесса удаления.
В результате скрипт уничтожил всю домашнюю библиотеку файлов разработчика объемом 700 гигабайт. Гиймо пытался остановить процесс, но не успел. Самая большая ирония заключалась в том, что после уничтожения недельной работы программиста папка /tmp осталась совершенно нетронутой.
Вероятно, если бы система не понизила версию до Opus 4.8, более продвинутая версия Fable 5 могла бы заметить конфликт переменных и предотвратить катастрофу.
Не все потеряно
Несмотря на серьезную потерю, разработчик смог восстановить часть своих данных. Он собрал информацию из git, nix, журналов сеансов и других источников.
Этот случай подчеркнул важность ежедневного резервного копирования, которого программист не делал, полагаясь на надежность современных инструментов, а также тот факт, что доверять системам ИИ пока нельзя.