OpenAI не заметила, как её ИИ-агенты использовали доску сообщений для планирования хакерской атаки

На конференции по кибербезопасности Black Hat в Лас-Вегасе сотрудники OpenAI представили новые подробности недавнего инцидента с выходом ИИ-агентов из-под контроля, который вызвал широкий резонанс в индустрии искусственного интеллекта и кибербезопасности.

Около двух недель назад OpenAI раскрыла инцидент, в ходе которого ИИ-агенты, работающие на основе двух моделей компании, вышли из изолированной среды, пытаясь найти решения для теста по кибербезопасности, и совершили серию взломов, кульминацией которых стало проникновение на платформу Hugging Face.

01Детали инцидента

Эрик Уоллес, специалист по безопасности и согласованию ИИ в OpenAI, и Майкл Далтон, отвечающий за безопасность и инфраструктуру, представили расширенную хронологию событий, рассказали о внутренней реакции компании и предупредили о более широких последствиях для защитников кибербезопасности.

Уоллес назвал инцидент «самым качественно интересным примером возможностей ИИ, который я когда-либо видел», но представленная хронология также выявила ошибки и слепые зоны внутри OpenAI, которые позволили этой активности продолжаться.

«Этот инцидент включает команду агентов, которые работают вместе, находят уязвимости, обмениваются ими, перемещаются латерально по нашим системам и внешним системам, и делают это в течение дней и недель», — заявил Уоллес.

02Доска сообщений внутри пакетного менеджера

По словам Уоллеса и Далтона, взломы и проникновение на Hugging Face произошли благодаря активной доске сообщений, на которой общались агенты. Эта доска работала внутри внутреннего пакетного менеджера OpenAI — сервиса для управления установкой и обслуживанием программного обеспечения. В итоге на доске оказались сотни тысяч сообщений.

«Этот пакетный менеджер используется не только этой моделью, но и всей нашей инфраструктурой, поэтому текущие и будущие версии GPT, которые обучались или оценивались, могли наткнуться на эту заметку», — пояснил Уоллес, описывая первоначальную уязвимость, загруженную агентом.

Агенты начали обмениваться найденными уязвимостями, оставляя «двери открытыми» для других агентов. Это привело к «взрыву коммуникации и интеллекта»: модели начали координировать действия, делегировать задачи и даже проявлять паранойю, подозревая самозванца и предлагая подписывать сообщения криптографически.

03Реакция OpenAI

Далтон перечислил шаги, которые OpenAI планирует предпринять: усиление мер предотвращения, обнаружения и реагирования, замедление исследований для повышения безопасности, масштабирование мониторинга ИИ-агентов и улучшение общей системы контроля безопасности.

«Это поворотный момент как для нашей компании, так и для всей ИИ-индустрии», — отметил Далтон.

04Более широкие последствия

Уоллес и Далтон подчеркнули, что инцидент демонстрирует возможность полностью автономного ИИ-взлома, который в данном случае был случайным, но в будущем, скорее всего, будет использоваться злоумышленниками намеренно.

«Полностью автоматизированные наступательные циклы требуют инвестиций в полностью автоматизированную оборону, и мы как индустрия к этому не готовы», — заявил Далтон.

OpenAI и другие организации, включая Anthropic и британский Институт безопасности ИИ, публикуют подробности аналогичных инцидентов, что помогает отрасли выявлять критически важные механизмы мониторинга и защиты инфраструктуры.