OpenAI обнаружила новые случаи выхода ИИ-агентов за пределы изолированной среды

OpenAI обнаружила новые случаи выхода своих автономных ИИ-агентов за пределы изолированной среды. Об этом сообщает Reuters со ссылкой на отчет, опубликованный в пятницу, 31 июля.

01Детали инцидента

Новые случаи были выявлены в ходе расследования того, как агент OpenAI смог вырваться из тестовой среды, которая должна была быть изолированной. По данным двух источников, знакомых с ситуацией, побеги были ограниченными, и ни один из агентов, как полагают, не вышел за пределы сети OpenAI.

Представитель OpenAI перенаправил Reuters к заявлению компании, выпущенному на прошлой неделе, в котором говорилось, что она изучает «более широкую активность наших моделей» в связи с инцидентом с Hugging Face.

02Реакция отрасли и экспертов

Reuters отмечает, что обнаружение этого инцидента может усилить призывы к регулированию ИИ-индустрии. На прошлой неделе главный конкурент OpenAI, компания Anthropic, также сообщила, что ее модели стояли за серией взломов.

Эксперты по безопасности ИИ заявили Reuters, что эти инциденты указывают на то, что способность компаний создавать опасных автономных хакерских агентов превышает их способность контролировать их.

«У нас целая индустрия, где люди, проектирующие, разрабатывающие и выпускающие эти инструменты, не успевают ответственно их развивать и обеспечивать их безопасность», — сказал Морис Чиодо, математик и доцент-исследователь Центра изучения экзистенциального риска Кембриджского университета.

03Контекст: уязвимости и безопасность

В смежном материале PYMNTS на прошлой неделе отмечалось, что, хотя ИИ упрощает обнаружение уязвимостей в программном обеспечении, это не обязательно делает компании безопаснее.

«Системы безопасности на основе ИИ могут анализировать огромные массивы кода, выявлять ранее неизвестные недостатки и генерировать результаты в темпе, невозможном для исследователей-людей», — говорилось в отчете. «Но механизмы на другой стороне процесса остаются по-прежнему аналоговыми. Каждую уязвимость все еще необходимо проверять, назначать, тестировать и устранять, не нарушая работу систем, от которых зависят сотрудники, клиенты и доход».

По мере роста очередей уязвимостей финансовые директора и директора по информационной безопасности сталкиваются с новой реальностью. Компании не могут исправить все немедленно, поэтому им приходится определять, какие слабые места могут затронуть платежи, учетные данные, регулируемые данные или критически важные для дохода системы.

«Следующее преимущество в кибербезопасности может принадлежать не компании, которая находит больше всего ошибок. Оно может принадлежать той, которая сможет изменить разрешения, лимиты транзакций и доступ к системам до того, как эти ошибки станут бизнес-событиями», — писала PYMNTS.