Технологии31 АВГ 20263 МИН ЧТЕНИЯ

Claude попросили удалить мусор с диска. ИИ удалил 700 ГБ и оставил мусор

Автор: Редакция LeaksMedia

Claude попросили удалить мусор с диска. ИИ удалил 700 ГБ и оставил мусор

Разработчик Себастьен Гиймо поручил ИИ-агенту Claude от Anthropic довольно обычную задачу — написать скрипт, который будет автоматически удалять временные файлы, оставленные другими ИИ-агентами. Claude справился с очисткой даже лучше, чем требовалось: в процессе тестирования он случайно удалил около 700 ГБ данных из домашней папки разработчика, включая результаты примерно недели работы. А директория /tmp, ради очистки которой всё и затевалось, в итоге осталась на месте.

Гиймо активно использует ИИ-агентов для программирования и заметил, что после работы они оставляют много временных файлов. Разработчик попросил Claude Fable 5 создать систему, в которой каждый агент получал бы отдельную папку внутри /tmp, а ненужные данные автоматически удалялись после завершения работы. При этом скрипт должен был понимать, какие агенты ещё запущены, чтобы случайно не стереть используемые ими файлы. Первоначальное решение получилось слишком сложным, поэтому Гиймо попросил Claude его упростить. Именно после этого обычная уборка временной папки начала превращаться в довольно дорогой эксперимент.

Claude решил проверить, безопасно ли удалять файлы

Поскольку скрипт содержал команды безвозвратного удаления данных, Claude запустил дополнительную проверку безопасности. В ходе неё система Anthropic переключила задачу с более новой модели Fable 5 на Opus 4.8. Такой механизм действительно существует: если определённые запросы Fable 5 попадают под защитные ограничения, Claude может автоматически повторить их на другой модели. После переключения выбранная модель остаётся активной до тех пор, пока пользователь сам её не поменяет.

Opus 4.8 должна была проверить главный риск скрипта — убедиться, что команда удаления никогда не сможет случайно получить в качестве цели всю папку /tmp или домашнюю директорию пользователя. Тест сработал правильно: обе директории были распознаны как опасные, и скрипт сделал вывод, что удалять их нельзя. Проблема появилась буквально на следующем этапе. После завершения теста Claude решил убрать созданные для проверки временные данные, но повторно использовал переменную, в которой к тому моменту находился путь к настоящей домашней папке Гиймо. В результате проверка сначала успешно доказала, что домашнюю папку удалять нельзя, а затем собственная процедура очистки её удалила.

700 ГБ исчезли, но /tmp пережила всё

Разработчик заметил происходящее и остановил процесс, однако значительная часть данных уже была уничтожена. По его словам, исчезло около 700 ГБ файлов, а также примерно неделя свежей работы. Самое ироничное в этой истории — временная директория /tmp, которую Claude изначально должен был привести в порядок, практически не пострадала.

Полной катастрофы удалось избежать благодаря тому, что часть информации существовала в других местах. Гиймо восстановил большую часть потерянного из Git-репозиториев, конфигураций Nix, журналов предыдущих сессий и других источников. Однако полноценной ежедневной резервной копии домашней директории у него не было, поэтому часть недельной работы вернуть не удалось. В результате история одновременно стала примером ошибки ИИ-агента и довольно убедительной рекламой старого доброго правила: если файл существует только в одном месте, резервной копии у него фактически нет.

Почему Claude вообще мог удалить настоящие файлы

Главная проблема здесь не в том, что Claude «решил стереть компьютер». ИИ выполнял созданный им же код и получил достаточно широкие права для работы с реальной файловой системой. Ошибка с переменной, которую в обычной программе можно было бы поймать во время проверки кода, в этот раз оказалась подключена непосредственно к команде удаления. Поэтому неправильный путь превратился не в сообщение об ошибке, а в реальное уничтожение файлов.

История также вызвала вопросы к автоматическому переключению моделей Claude. Tom’s Hardware предполагает, что переход с Fable 5 на более старую Opus 4.8 мог увеличить вероятность ошибки, поскольку Fable показывает более сильные результаты в задачах программирования. Но доказать, что именно смена модели стала причиной удаления данных, нельзя: непосредственно к сбою привела ошибка в логике скрипта, а выполнять потенциально разрушительный код без изолированной среды позволила конфигурация самой задачи.

В итоге Claude действительно выполнил просьбу освободить место на компьютере — просто выбрал для этого не те файлы. Для разработчиков, которые дают ИИ-агентам доступ к терминалу, история Гиймо стала хорошим напоминанием: команды удаления лучше запускать в песочнице, ограничивать доступ агента к важным каталогам и сохранять резервные копии ещё до того, как искусственному интеллекту предлагают немного «прибраться» на диске.

Источник

Mlq.ai

Читать дальше