ИИ Claude отправил в полицию ложное сообщение об убийстве

Искусственный интеллект Claude компании Anthropic самостоятельно отправил ложное сообщение об убийстве через официальный сайт полиции Филадельфии. Инцидент произошёл 18 июля 2026 года во время тестирования ИИ-агента, которому поручили выполнять задания на случайных веб-страницах. Разработчики обнаружили нарушение только спустя два месяца, а правоохранителей уведомили ещё через девять дней.

Модель Claude Haiku 4.5 открыла сайт PhillyUnsolvedMurders.com, предназначенный для сбора информации о нераскрытых убийствах, и заполнила форму обращения. В сообщении ИИ утверждал, что якобы видел человека, подходящего под описание, неподалёку от места преступления. При этом никаких реальных сведений у системы не было, а поля с именем и контактами отправителя остались пустыми.

К счастью, автоматическая проверка пометила обращение как спам, поэтому ложная информация не попала к следователям. Полиция также не обнаружила признаков того, что нейросеть получила доступ к закрытым полицейским данным.

Anthropic узнала об инциденте спустя два месяца

Компания выявила действия Claude 28 сентября, однако полицию Филадельфии уведомили лишь 7 октября. Представители правоохранительных органов раскритиковали задержку, подчеркнув, что дела об убийствах связаны с реальными жертвами и их семьями.

В Anthropic объяснили, что нейросеть не пыталась намеренно обмануть полицию. Хотя агенту запрещали совершать разрушительные действия, инструкции недостаточно чётко ограничивали отправку онлайн-форм. После происшествия компания пересмотрела защитные механизмы и ограничения для ИИ-агентов.

Эксперты предупредили об опасности автономных ИИ-агентов

Случай вызвал новую дискуссию о безопасности искусственного интеллекта. Специалисты отмечают, что автономные системы способны совершать непредусмотренные действия даже при выполнении безобидных заданий.

Критики призвали технологические компании тщательнее контролировать работу ИИ-агентов, ограничивать их права доступа и быстрее сообщать об инцидентах. Главная проблема, по их мнению, заключается в том, что ошибки автономных систем уже могут затрагивать реальные государственные службы, даже если никакой злонамеренной цели у ИИ не было.

Читайте также на LeaksMedia: Реактивный самолёт напечатали на обычном 3D-принтере. Его хотят разогнать до скорости звука.