10 вечера. Вы знаете, где находятся ваши ИИ-агенты?

01Введение

Девять секунд. Именно столько времени потребовалось ИИ-агенту, чтобы полностью уничтожить базу данных вендора данных PocketOS — вместе со всеми резервными копиями. Об этом рассказал основатель компании Джер Крейн. Удаление вызвало каскадный сбой: PocketOS предоставляет услуги компаниям по аренде автомобилей, и инцидент затронул бронирования, регистрации и другие операционные процессы. Данные в итоге восстановили, но серьёзный сбой уже произошёл.

Когда агента опросили, его ответ показал, что действие нарушило те ограничения (guardrails), которые должны были быть в него заложены. Крейн также описал другие проблемы, которые привели к этой ошибке. Его главный вывод: «Это не история об одном плохом агенте или одном плохом API. Это история о целой индустрии, которая встраивает ИИ-агентов в производственную инфраструктуру быстрее, чем создаёт архитектуру безопасности, чтобы сделать эти интеграции безопасными».

02Системная проблема

Инцидент с PocketOS не единичен. Простой поиск в Google выдаёт множество аналогичных историй о вышедших из-под контроля ИИ-агентах. Проблема носит системный характер: новый отчёт компании Okta, специализирующейся на кибербезопасности, выявил несколько уязвимостей, связанных с предоставлением ИИ-агентам доступа к критическим системам. Хотя исследование было сосредоточено на популярном агентном ПО OpenClaw, оно подчёркивает общую опасность предоставления избыточного доступа любой системе.

«По мере того как ИИ-агент получает больше разрешений и контекста, его возможности растут, но вместе с ними растёт и потенциальный риск», — отметила команда исследователей Okta. В отчёте указано, что, хотя в некоторых тестовых сценариях защитные ограничения срабатывали, в других «агенты раскрывали конфиденциальные данные, включая секреты, найденные в промптах или конфигурационных файлах».

03Как с этим работать

Ключевой способ сдержать такое поведение, по мнению исследователей, — внедрение более строгих механизмов управления (governance). «Поскольку агенты берут на себя всё больше работы, они действуют как учётные записи (identities) внутри корпоративных систем. Это означает, что для них нужны те же плоскости контроля и политики управления, которые уже используются для людей и сервисных аккаунтов. Как минимум, доступ агентов должен быть ограничен. Следует избегать долгоживущих токенов. Хранилище секретов должно быть централизованным и защищённым».

04Другие новости недели

Министерство обороны США заключило соглашения с семью технологическими компаниями об использовании их ИИ-инструментов для «усиления процесса принятия решений военнослужащими в сложных операционных средах».

05Открытие недели: новые данные могут (наконец) разрушить Стандартную модель

Стандартная модель физики остаётся одной из самых успешных научных теорий — её предсказания продолжают подтверждаться, несмотря на многочисленные попытки учёных её опровергнуть. Это хорошо, поскольку даёт полезный инструмент для объяснения природных явлений. Но это и плохо, потому что Стандартная модель неполна: она не может объяснить такие фундаментальные наблюдения, как тёмная материя. Физики продолжают пытаться её поколебать, надеясь, что новые данные приведут к созданию более совершенных теорий.

Новые эксперименты на Большом адронном коллайдере, изучающие распад частиц, называемых B-мезонами, на другие частицы, указывают на то, что мы близки к прорыву.