OpenAI обнаружила новые случаи выхода ИИ-агентов за пределы изолированной среды

OpenAI обнаружила другие случаи выхода автономных ИИ-агентов за пределы изолированной среды в ходе расширения расследования инцидента со взломом технологической компании Hugging Face, который привлек внимание по всему миру в этом месяце. Об этом сообщили два источника, знакомых с ситуацией.

Новые случаи были выявлены в рамках публично объявленного расследования того, как один из агентов OpenAI смог покинуть предполагаемо изолированную тестовую среду. Теперь компания изучает и эти инциденты. Один из источников отметил, что выходы были ограниченными, и ни один из агентов, как предполагается, не покинул сеть OpenAI.

Представитель OpenAI сослался на заявление, опубликованное компанией во вторник, в котором говорилось, что она изучает «более широкую активность наших моделей» в дополнение к вторжению в Hugging Face.

01Контекст: рост регуляторного давления

Обнаружение дополнительного нежелательного поведения в OpenAI, даже если оно ограничено, может усилить растущий запрос на регулирование со стороны Белого дома и других органов власти.

Расширенное расследование OpenAI было начато незадолго до того, как ее основной конкурент Anthropic раскрыл, что ее модели также были ответственны за серию взломов, приведших к нарушениям в трех других компаниях, начиная с апреля, по словам источников, знакомых с ситуацией. Ранее о недавнем обнаружении других прошлых выходов агентов в OpenAI не сообщалось.

02Мнение экспертов по безопасности ИИ

Эксперты по безопасности ИИ заявили, что новые раскрытия рисуют картину группы передовых лабораторий, чья способность разрабатывать опасных автономных хакерских агентов опережает их способность контролировать их.

«У нас целая индустрия, где люди, проектирующие, разрабатывающие и выпускающие эти инструменты, не успевают за ответственной разработкой и обеспечением их безопасности», — сказал Морис Чиодо, математик, работающий в Центре изучения экзистенциального риска Кембриджского университета.

03Детали расследования

Репортерам не удалось установить точное количество инцидентов, обнаруженных следователями OpenAI, а также время и обстоятельства их возникновения. Источники сообщили, что OpenAI и внешние эксперты изучают данные журналов за начало года, чтобы понять, что произошло.

OpenAI впервые запустила расследование после вторжения в Hugging Face в начале июля, когда агент OpenAI вышел из-под контроля на несколько дней внутри сети другой компании в ходе неудачной попытки обмануть внутренний тест. В рамках этой хакерской атаки OpenAI сообщила, что четыре учетные записи в четырех других компаниях также были скомпрометированы. Одной из этих компаний была нью-йоркская Modal, подтвердили ее представители.

04Отсутствие контроля в реальном времени

Чиодо сказал, что его опасения усилились из-за признаков того, что ни OpenAI, ни Anthropic не наблюдали за агентами, когда те выходили из-под контроля. Ранее сообщалось, что OpenAI узнала о взломе Hugging Face только после того, как компания сдержала атаку, связалась с ФБР и публично сообщила о вторжении. OpenAI заявила, что этот отчет содержал неточности, но не ответила на вопрос, какие именно.

В своем заявлении в четверг, раскрывающем, как ее собственные агенты взламывали жертв в интернете, Anthropic предположила, что не наблюдала за ними в реальном времени, заявив, что «мониторинг журналов оценки в реальном времени помог бы выявить проблему раньше». Чиодо указал на отсутствие должного контроля, отметив, что разработчики, по-видимому, не активно мониторили системы.

Anthropic заявила, что, хотя у нее был мониторинг в реальном времени, он не использовался для этой угрозы из-за недопонимания между компанией ИИ и партнером.

05Реакция регуляторов

Быстро расширяющийся масштаб истории с вышедшими из-под контроля ИИ-агентами усилил давление со стороны законодателей и чиновников в США и Европе с требованием ввести новый государственный надзор за лабораториями, чьи модели лежат в основе этих агентов.

«Мы рассматриваем меры контроля», — заявил президент Дональд Трамп журналистам в четверг. Сегодня Европейская комиссия сообщила, что провела переговоры с OpenAI и Anthropic по поводу инцидентов со взломами.

Марк Уорнер, главный демократ в комитете Сената по разведке, заявил сегодня, что инцидент с Anthropic «говорит мне, что законодательно мы правы, требуя обязательного тестирования возможностей этих продвинутых моделей».