Как защитить AI-агентов, MCP-серверы и LLM-приложения в продакшене

AI-агенты, MCP-интеграции и LLM-приложения попадают в кодовые базы быстрее, чем большинство программ безопасности успевают их отслеживать. Новое практическое руководство от Mend.io — «Securing AI agents, MCP servers & LLM apps: A practical framework» — закрывает этот пробел. Оно построено вокруг трех шагов: видеть важное, исправлять важное быстрее, защищать AI в продакшене — и включает семь переиспользуемых артефактов.

01Почему традиционный AppSec не работает

AppSec был построен на одном допущении: приложения делают то, что написано в коде. Агентный ИИ это допущение ломает. Поведение агента формируется моделью, системным промптом, полученным контекстом, пользовательским вводом и инструментами, которые он может вызывать. Два одинаковых развертывания могут вести себя по-разному.

Новыми стали и модели отказов. Prompt injection приходит через данные, а не через код. Агент с избыточными правами может совершать вредоносные действия без эксплуатации какой-либо уязвимости. Устаревшая модель продолжает выдавать предсказания после того, как мейнтейнер перестал выпускать патчи. Отравленное описание инструмента на MCP-сервере может перенаправить поведение агента, не затрагивая приложение. Ничего из этого не появляется в лентах CVE.

Задача двусторонняя: shift left и защита справа (protect right).

02Артефакт 1.1: карта поверхности атак из пяти слоев

• Взаимодействие (Interaction): пользовательский ввод, полученные документы, сообщения между агентами → prompt injection, отравление контекста, утечка данных.
• Агент (Agent): системные промпты, конфигурации, память, настройки автономности → инструменты с избыточными правами, небезопасные настройки по умолчанию, перехват целей.
• Интеграция (Integration): MCP-серверы, определения инструментов, плагины, API → отравленные описания инструментов, несвязанные с областью действия учетные данные, теневые серверы.
• Модель (Model): фундаментальные и дообученные модели, эмбеддинги → модели с истекшим сроком поддержки (EOL), риски цепочки поставок, небезопасные генерации.
• Код (Code): сгенерированный ИИ код, AI-фреймворки, SDK → уязвимый код, CVE во фреймворках, вредоносные пакеты.

03Обнаружение агентов и MCP-серверов

Агенты редко появляются через закупки. Три категории для поиска: теневые агенты, незарегистрированные MCP-серверы и встроенные AI-фреймворки. Каждый MCP-сервер должен иметь владельца, область доступа и ревью.

Пять методов обнаружения:

1. Сканирование репозиториев на агентные сигнатуры.
2. Мониторинг сетевого исходящего трафика на вызовы к API моделей.
3. Аудит сервисных аккаунтов и API-ключей.
4. Упрощение регистрации через легковесный процесс.
5. Непрерывная автоматизация — разовая проверка быстро устаревает.

Артефакт 2.1 расширяет AI-BOM девятью полями для каждого агента или MCP-сервера: идентичность, зависимость от модели, уровень автономности, права инструментов, область учетных данных, охват данных, MCP-эндпоинты, расположение промпта, дата последнего ревью.

Артефакт 2.2 — чек-лист из 12 пунктов по неправильным конфигурациям:

• Учетные данные должны быть привязаны к конкретным ресурсам, а не к широкому сервисному доступу.
• Никаких общих учетных данных между агентами.
• Инструменты с высоким влиянием требуют одобрения человека.
• Системные промпты должны храниться в системе контроля версий, а не редактироваться в продакшене.
• MCP-серверы должны аутентифицировать клиентов.
• Описания инструментов должны проверяться на инъекционный контент до принятия (tool poisoning).
• Версии моделей должны быть зафиксированы, с мониторингом EOL и назначенным владельцем.

04Исправление: приоритизация и триаж

ИИ расширил не только поверхность атак, но и поверхность находок. Пайплайн: обогащение → приоритизация → триаж. Сигналы приоритизации в порядке ценности: достижимость, контекст эксплуатируемости, бизнес-контекст, агентное усиление, доступность исправления.

Артефакт 3.1 определяет границу автоматизации:

Два правила управляют этим процессом. Каждое автоматическое закрытие должно иметь доказательства; если система не может показать, почему что-то является ложным срабатыванием, это передается человеку. Частота ошибок проходит выборочную проверку, а пороговые значения запускают переобучение.

05Защита в рантайме

Защита в рантайме включает гардрейлы, укрепление промптов, контроль политик и мониторинг. Это работает как цикл с AI-редтимингом: находки редтима улучшают гардрейлы, а логи гардрейлов направляют последующий редтиминг.

Гардрейлы развертываются двумя способами: через встроенный Python SDK (с онлайн- или офлайн-режимом) или как отдельный API-сервер (Docker), не требующий изменений кода и Python-зависимостей. Минимальная жизнеспособная конфигурация включает входящие гардрейлы (перехват prompt injection, запросов вне политики и джейлбрейков) и исходящие гардрейлы (перехват учетных данных, PII, проприетарного кода, небезопасного контента и нарушений политик).

Укрепление системных промптов следует пяти паттернам: допущение раскрытия, разделение инструкций и данных, ограничение радиуса поражения, версионирование и ревью, adversarial-тестирование. Установка строгих разрешений эффективнее, чем инструкции в промпте — запрет доступа к инструменту устраняет необходимость инструктировать против опасных действий.

Артефакт 4.1 содержит семь проверок валидации.

06Дорожная карта зрелости

Четыре стадии: Emerging, Developing, Controlling, Leading. Модель согласована с NIST AI RMF, OWASP AIMA, ISO/IEC 42001 и EU AI Act.

Артефакт 5.1 — самооценка из 15 вопросов: 0–5 — Emerging, 6–10 — Developing, 11–13 — Controlling, 14–15 — Leading.

07Ключевые выводы

• Поведение агента формируется моделью, промптом, контекстом, вводом и инструментами, а не только кодом.
• Пять слоев риска: взаимодействие, агент, интеграция, модель, код.
• Ищите теневых агентов, незарегистрированные MCP-серверы и встроенные AI-фреймворки.
• Автоматизируйте триаж с доказательствами; принятие риска и новые находки — только для человека.
• Гардрейлы поставляются как встроенный Python SDK или отдельный Docker API-сервер.

Полное руководство доступно по ссылке. Благодарим команду Mend.io за материалы для этой статьи.

Статья подготовлена при поддержке Mend.io.