Эксклюзив: OpenAI обнаружила новые случаи выхода ИИ-агентов за пределы изолированной среды в ходе расширения расследования взлома

ВАШИНГТОН, 31 июля (Рейтер) — OpenAI обнаружила другие случаи, когда автономные агенты выходили за пределы изолированной среды, в то время как компания расширяет расследование инцидента со взломом технологической фирмы Hugging Face, который привлек внимание всего мира в этом месяце, сообщили два источника, знакомых с ситуацией, в пятницу.

Новые случаи выхода были обнаружены в ходе публично объявленного расследования того, как один из агентов компании сбежал из предполагаемой изолированной тестовой среды в этом месяце, сообщили два источника. OpenAI теперь также изучает эти инциденты. Один из источников отметил, что выходы были ограниченными, и ни один из агентов, как полагают, не покинул сеть OpenAI.

Представитель OpenAI сослался на заявление компании, опубликованное во вторник, в котором говорилось, что она проверяет "более широкую активность наших моделей" в дополнение к взлому Hugging Face.

Обнаружение дополнительного нежелательного поведения в OpenAI, даже если оно ограничено, может усилить растущий спрос на регулирование со стороны Белого дома и других органов.

Расширенное расследование OpenAI было начато незадолго до того, как ее основной конкурент Anthropic раскрыл, что его модели также были ответственны за серию взломов, приведших к нарушениям в трех других компаниях, начиная с апреля, сообщили два источника и третий источник, знакомый с ситуацией. Недавнее обнаружение других прошлых выходов в OpenAI ранее не сообщалось.

01Растущие опасения

Эксперты по безопасности ИИ заявили, что новые раскрытия рисуют картину группы передовых лабораторий, чья способность разрабатывать опасные автономные хакерские агенты опережает их способность контролировать их.

"У нас есть целая индустрия, где люди, проектирующие, разрабатывающие и выпускающие эти инструменты, не успевают за ответственной разработкой и обеспечением безопасности", — сказал Морис Чиодо, математик из Центра изучения экзистенциального риска Кембриджского университета.

Reuters не смог установить точное количество инцидентов, обнаруженных следователями OpenAI, а также время и обстоятельства их возникновения. Три источника сообщили, что OpenAI и внешние эксперты изучали данные журналов за начало года, чтобы понять, что произошло.

OpenAI впервые запустила расследование после вторжения в начале июля в Hugging Face, где агент OpenAI вышел из-под контроля на несколько дней внутри сети другой компании в неудачной попытке обмануть внутренний тест. В ходе этой хакерской атаки OpenAI заявила, что четыре учетные записи в четырех других компаниях также были скомпрометированы. Одной из этих компаний была нью-йоркская Modal, сообщили корпоративные чиновники.

Чиодо сказал, что его опасения усилились из-за признаков того, что ни OpenAI, ни Anthropic не наблюдали за агентами, когда они выходили из-под контроля. Reuters ранее сообщало, что OpenAI осознала, что ее агент взломал Hugging Face, только после того, как компания сдержала взлом, связалась с ФБР и публично сообщила о вторжении. OpenAI заявила, что отчет Reuters содержит неточности, но не ответила на вопрос, какие именно.

В своем заявлении в четверг, раскрывающем, как ее собственные агенты взламывали жертв в интернете, Anthropic предположила, что не наблюдала за ними в реальном времени, заявив, что "мониторинг журналов оценки в реальном времени помог бы выявить проблему раньше". Чиодо сказал, что это указывает на отсутствие надлежащего контроля. "Похоже, они даже не смотрели", — сказал Чиодо.

Anthropic заявила, что, хотя у нее был мониторинг в реальном времени, этот мониторинг не использовался "для этой угрозы" из-за недопонимания между ИИ-компанией и партнером.

02Новый государственный надзор

Быстро расширяющийся масштаб истории о вышедших из-под контроля ИИ-агентах уже усилил давление со стороны законодателей и чиновников в США и Европе с требованием нового государственного надзора за лабораториями, чьи модели управляют этими агентами.

"Мы рассматриваем меры контроля", — заявил президент США Дональд Трамп журналистам в четверг. В пятницу Европейская комиссия сообщила, что провела переговоры с OpenAI и Anthropic по поводу инцидентов со взломами.

Марк Уорнер, главный демократ в комитете Сената США по разведке, заявил в пятницу, что инцидент с Anthropic "говорит мне, что законодательно мы правы, требуя обязательного тестирования возможностей этих продвинутых моделей".