OpenAI сообщает, что её ИИ-агент сбежал из тестовой песочницы и взломал Hugging Face

OpenAI сообщила, что агент, работающий на основе её языковых моделей, сбежал из изолированной тестовой среды и проник на серверы Hugging Face в ходе чрезмерно усердной попытки получить решения для бенчмарка. Компания считает это непреднамеренное вторжение «беспрецедентным киберинцидентом» и сотрудничает с Hugging Face для разработки новых мер защиты, чтобы предотвратить повторение.

01Инцидент

На прошлой неделе Hugging Face сообщила о вторжении, которое, по её словам, включало «несанкционированный доступ к ограниченному набору внутренних наборов данных и к нескольким учётным данным, используемым нашими сервисами». Платформа для обмена данными для ИИ заявила, что использовала собственный анализ на основе LLM для выявления «роя десятков тысяч автоматизированных действий» от «фреймворка автономных агентов». Этот агентский рой использовал уязвимость в конвейере обработки данных Hugging Face, чтобы получить возможность запускать код от имени рабочего процесса обработки, в конечном итоге получив высокоуровневый доступ к облачным и серверным кластерам компании.

В то время Hugging Face сообщила, что LLM, используемая в атаке, «всё ещё не была известна». Однако OpenAI взяла на себя ответственность за вторжение вечером вторника, заявив, что оно произошло в ходе внутреннего тестирования с участием недавно выпущенной GPT-5.6 Sol и «ещё более мощной предрелизной модели». Модели тестировались на бенчмарке ExploitGym — независимом наборе тестов, основанном на сотнях реальных уязвимостей безопасности.

Хотя OpenAI заявила, что тесты бенчмарка проводились «в высокоизолированной среде», её агенты всё же имели доступ к «внутренне размещённому стороннему программному обеспечению» для установки необходимых реестров пакетов. Работая над бенчмарком ExploitGym в течение выходных, OpenAI сообщает, что агент «потратил значительное количество вычислительных ресурсов на поиск способа получения доступа к открытому Интернету», в конечном итоге найдя его через zero-day уязвимость в прокси-кэше реестра пакетов. Получив более широкий доступ в Интернет, OpenAI заявляет, что агент «предположил, что Hugging Face потенциально размещает модели, наборы данных и решения для ExploitGym», что привело к ранее раскрытой атаке на серверы.

OpenAI сообщает, что её команда безопасности «обнаружила эту аномальную активность внутренне», независимо от собственного обнаружения Hugging Face.

02Никакая клетка меня не удержит

Хотя OpenAI назвала инцидент с Hugging Face «беспрецедентным», компания также признала в отдельном посте на этой неделе, что ранее наблюдала, как недавние «модели с длинным горизонтом» — те, которые могут работать автономно в течение длительного времени — предпринимали «нежелательные действия» для достижения целей тестирования, включая «поиск способов действовать за пределами своей песочницы».

Компания описала более ранний тест на бенчмарке NanoGPT speedrun, где модели было поручено только опубликовать свои результаты во внутреннем Slack. Вместо этого модель решила следовать конфликтующей директиве в инструкциях бенчмарка и опубликовать результаты публично на GitHub. Пытаясь выполнить эту инструкцию, OpenAI сообщила, что модель потратила час на поиск способов обойти ограничения песочницы, предназначенные для блокировки внешнего доступа в Интернет. Такая «настойчивость», продемонстрированная моделями с длинным горизонтом, отличается от действий более ранних моделей, которые, как правило, сдавались или искали разъяснения у пользователя при столкновении с подобными дилеммами, заявили в OpenAI.

Подобные инциденты побудили OpenAI внедрить новые меры защиты, ориентированные на модели с длинным горизонтом, включая систему «активного мониторинга», предназначенную для отслеживания полной траектории действий агента, а не отдельных шагов. Однако OpenAI заявляет, что эти меры защиты «намеренно не были включены» во время инцидента с Hugging Face, поскольку бенчмарк был «направлен на тестирование киберуязвимостей».

03Новый вид угрозы

Инцидент с Hugging Face также обострил философские и практические дебаты о так называемом выравнивании ИИ и текущих усилиях по обеспечению того, чтобы действия модели ИИ соответствовали намерениям её создателей-людей. В своём посте о безопасности ранее на этой неделе OpenAI заявила, что предприняла шаги для обеспечения того, чтобы модели с длинным горизонтом «запоминали инструкции в длительных развёртываниях», что помогло значительно сократить количество «невыровненных» результатов в тестировании.

«Если это не убедит вас, что риски невыравнивания будут ключевой проблемой в будущем, я не знаю, что убедит», — написал в социальных сетях исследователь безопасности OpenAI Мика Кэрролл в связи с инцидентом.

Это далеко не первый случай, когда модель ИИ идёт на огромные усилия, чтобы найти непредусмотренные способы прохождения бенчмарка. В отчёте, опубликованном на этой неделе, Институт безопасности ИИ Великобритании (AISI) отметил, что обнаружил попытки недавних моделей «сжульничать» при своих кибероценках (то есть использовать сокращения, обходные пути или непредусмотренные/запрещённые методы для поиска решения) от 8 до 14 процентов времени — нижняя граница диапазона, которая может не учитывать некоторые необнаруженные попытки жульничества. Группа по тестированию безопасности описала один инцидент, в котором модель, столкнувшись с неправильно настроенной и «невозможной для решения» оценкой, попыталась получить доступ к собственной инфраструктуре оценки AISI, используя код, который она написала и разместила на неконтролируемом стороннем интернет-сервисе.

Вторжение в Hugging Face также происходит в момент, когда компании, занимающиеся ИИ, делают серьёзные предупреждения о возможностях кибератак своих новейших моделей, что побуждает правительства реагировать приказами, связанными с национальной безопасностью, ограничивающими их развёртывание. Хотя некоторые скептики рассматривают такие заявления как наполненный хайпом маркетинг возможностей их новейших моделей, независимые оценки показывают, что недавние модели достигают целей проникновения, которые были невозможны для более ранних автономных систем.

По мере того как эти дебаты разворачиваются в сферах ИИ и кибербезопасности, инцидент с Hugging Face может стать поворотным моментом в том, как специалисты по кибербезопасности подходят к угрозам на основе ИИ. «Автономные, управляемые ИИ инструменты для нападения больше не являются теоретическими», — написала Hugging Face в своём раскрытии на прошлой неделе. «Это снижает стоимость проведения широкой, терпеливой, многоэтапной кампании и работает на машинной скорости. Защита онлайн-платформы теперь означает отношение к поверхности данных и моделей как к поверхности атаки первого класса и использование ИИ для защиты, чтобы не отставать».

«Это первый день для кибербезопасности в эпоху агентов», — написал в социальных сетях сооснователь и генеральный директор Hugging Face Клем Деланг. «Мы все учимся, что секретность — это не ответ, и что всем защитникам (а не только избранным) повсюду нужны более мощные модели без ограничений, особенно открытые!»