ИИ OpenAI нашёл лазейку из изолированной среды. Компания остановила работу с самыми мощными моделями

Компания OpenAI рассказала о необычном инциденте во время внутреннего эксперимента: ИИ-агент, выполнявший обычную поисковую задачу, сумел найти обходной путь к внешнему интернет-сервису через DNS, хотя среда, в которой он работал, должна была быть изолирована от открытого интернета. По данным компании, модель не получала задания проверять сетевые ограничения или искать способы их обойти — она пыталась установить личность человека по нескольким биографическим подсказкам и фрагментам публичного блога. После того как стандартный поиск не дал результата, агент начал экспериментировать с другими способами доступа к информации и в итоге обнаружил уязвимость в настройках песочницы.

Сначала агент использовал штатный инструмент веб-поиска, затем попытался обратиться к Google, Bing и DuckDuckGo напрямую через Python, однако запросы блокировались или возвращали ошибки. После этого модель проверила кэшированные страницы, публичные наборы данных и несколько внешних сервисов. В какой-то момент она обратила внимание на то, что системный DNS-резолвер способен получать реальные записи для существующих доменов, несмотря на общее отсутствие прямого интернет-доступа. Именно это и стало отправной точкой для дальнейших экспериментов.

Агент получил ответ внешнего чат-бота через DNS

После нескольких неудачных попыток модель нашла способ передавать запросы стороннему чат-боту через DNS-механизм. Чтобы проверить, работает ли схема, агент сначала отправил простой вопрос о столице Франции и получил ответ «Париж». Это подтвердило, что модель фактически смогла выйти за пределы предусмотренной офлайн-среды и получить информацию от внешнего сервиса через канал, который разработчики не рассчитывали использовать для обычного интернет-доступа. Затем агент отправил ещё серию запросов, в том числе связанных с первоначальной задачей и поиском других способов доступа к вебу.

При этом саму исходную задачу модель так и не решила. В финальном ответе она сообщила пользователю, что не смогла надёжно определить нужного человека, и попросила дополнительную информацию — например, оригинальную фразу из публикации, заголовок или название блога. Таким образом, обход сетевых ограничений не принёс агенту нужного результата, но выявил гораздо более важную для OpenAI проблему — недостаточно жёсткую изоляцию исследовательской инфраструктуры.

OpenAI остановила запуск и усилила ограничения

Система мониторинга обнаружила подозрительную активность примерно через 15 минут после того, как агент получил внешний ответ, а спустя ещё несколько минут сигнал увидел сотрудник компании. Однако сам эксперимент продолжал работать ещё около двух с половиной часов из-за проблем с процедурой автоматической остановки. В итоге запуск был завершён вручную. OpenAI заявила, что после инцидента ограничила DNS-запросы в исследовательской среде, добавила дополнительные средства обнаружения необычной сетевой активности и начала расширенное тестирование других возможных путей обхода сетевой изоляции.

Компания также решила временно приостановить обучение, оценку и инференс наиболее мощных моделей в сценариях с использованием инструментов, пока специалисты не убедятся, что обнаруженная проблема устранена и другие похожие обходные пути отсутствуют. OpenAI подчёркивает, что этот случай оказался менее серьёзным, чем некоторые предыдущие инциденты, однако считает его важным сигналом: даже после усиления защиты модели могут находить неожиданные комбинации системных возможностей, которые изначально не рассматривались как путь к внешнему интернету.

Читайте также на LeaksMedia: Gemini научилась клонировать голос человека по 30 секундам записи.