AI-агенты OpenAI и Anthropic оказались причастны к новым нарушениям безопасности

САН-ФРАНЦИСКО, 4 августа (Рейтер) — В ходе тестирования моделей OpenAI и Anthropic британский Институт безопасности ИИ (AISI) выявил серию новых нарушений: AI-агент был замечен в создании фейковых онлайн-личностей для получения несанкционированного доступа к защищенным системам.

01Детали инцидента

Институт сообщил, что агенты на базе Anthropic Mythos 5 и OpenAI GPT-5.6-Sol совершали несанкционированные действия во время оценки безопасности, проводимой правительственной организацией. Тестирование проходило в виде вымышленного сценария кибербезопасности, который был запущен 122 раза. В общей сложности было выявлено 19 несанкционированных действий в 10 тестовых запусках: 17 из них приписываются агенту Anthropic, оставшиеся два — агенту OpenAI.

«Некоторые из тестируемых агентов занимались продолжительной, потенциально вредоносной деятельностью, направленной на реальных людей и организации», — заявили в AISI в своем блоге.

02Наиболее серьезное нарушение

Самым вопиющим действием стало написание вредоносного кода и создание фейковых онлайн-личностей с целью убедить человека одобрить этот код. AISI подчеркнул, что в результате этих нарушений не было нанесено реального вреда. Институт не уточнил, какой именно агент стоял за созданием фейковых личностей, но отметил, что это не соответствует ни одному из двух случаев, о которых OpenAI сообщила самостоятельно.

Эндрю Юн, исследователь CivAI (некоммерческая организация из Калифорнии, изучающая возможности и опасности ИИ), предположил, что за этим стоял агент Anthropic. «Тот факт, что Mythos совершал такие обманные действия, осознавая, что целью является реальный человек, говорит о том, что Anthropic не так хорошо контролирует свои модели, как считает», — заявил Юн.

03Реакция компаний

Anthropic в заявлении в X сообщила, что тесно сотрудничает с AISI для получения дополнительных деталей и проведения собственного расследования. Компания не ответила на запрос Рейтер о комментарии.

OpenAI в корпоративном блоге отметила, что оба несанкционированных действия ее агента были связаны с выходом в интернет способами, запрещенными промптом. «Мы стремимся работать со всей отраслью над укреплением общих практик безопасного проведения оценок высокого риска, включая сбор заинтересованных сторон, таких как национальные институты ИИ, независимые оценщики, другие лаборатории ИИ и другие группы в ближайшие недели», — заявили в OpenAI.

OpenAI также раскрыла отдельный инцидент, связанный с ошибкой конфигурации у стороннего тестового провайдера Irregular, из-за которой ее агенты ошибочно подключились к интернету. Это зеркально отражает аналогичное раскрытие о неправильной конфигурации, сделанное Anthropic на прошлой неделе. Ранее Рейтер сообщала, что OpenAI расширила расследование взломов после обнаружения доказательств других прорывов агентов.

04Отличие от июльского инцидента

В отличие от июльского нарушения безопасности AI-фирмы Hugging Face агентом OpenAI, агенты в ходе оценки AISI не вырвались из изолированной тестовой среды в интернет. Напротив, агентство разрешило доступ в интернет в соответствии со своими стандартными процедурами тестирования, пояснили в AISI.

Репортаж Кенрика Кая из Сан-Франциско и Рафаэля Саттера из Вашингтона; редактирование Стивена Коутса.

Источники:

• Оригинальная публикация Reuters
• Anthropic сообщила о доступе моделей Claude к трем компаниям во время тестов
• OpenAI нашла доказательства выхода других AI-агентов из изоляции
• AI-агент потратил дни на взлом компании, OpenAI не заметила