Як ШІ отримав завдання на очищення?
Розробник Себастьєн Гіймо часто користується ШІ-агентами, але його дратувало, що вони залишають багато сміття в директорії /tmp. Як повідомляє видання Tom's Hardware, програміст попросив нейромережу Claude Fable написати скрипт, який би ізолював кожного агента в окремій папці та видаляв залишки після завершення їхньої роботи.
Головною умовою було не зачепити файли, які система використовує в цей момент. Модель Fable запропонувала додати логіку для виявлення активних агентів, але Гіймо назвав цей код занадто складним. Оскільки скрипт передбачав безповоротне видалення даних, ШІ вирішив провести перевірку безпеки та запустив власну копію для тестування.
У цей момент система безпеки компанії Anthropic визнала дії ризикованими та автоматично понизила версію моделі спочатку до Opus 5, а потім до Opus 4.8. Саме версія Opus 4.8 продовжила тест на безпеку. Вона правильно визначила директорію /tmp та домашню папку користувача як небезпечні цілі для видалення. Однак під час фінального очищення після тесту ШІ використав одну й ту саму змінну як для самого тесту, так і для процесу видалення.
У результаті скрипт знищив усю домашню бібліотеку файлів розробника обсягом 700 гігабайтів. Гіймо намагався зупинити процес, але не встиг. Найбільша іронія полягала в тому, що після знищення тижневої роботи програміста папка /tmp залишилася абсолютно недоторканою.
Імовірно, якби система не понизила модель до Opus 4.8, більш просунута версія Fable 5 могла б помітити конфлікт змінних і запобігти катастрофі.
Не все втрачено
Попри серйозну втрату, розробник зміг повернути частину своїх даних. Він зібрав інформацію з git, nix, журналів сесій та інших джерел.
Цей випадок підкреслив важливість щоденного резервного копіювання, якого програміст не робив, покладаючись на надійність сучасних інструментів, а також той факт, що довіряти системам ШІ поки що не можна.