От видимости к пониманию: наблюдаемость для AI-агентов и LLM

01Введение

На конференции IBM Think 2026 компания IBM анонсировала следующий этап развития возможностей Instana в области наблюдаемости генеративного ИИ — AI Agent and LLM Observability. Решение развивает функциональность GenAI Observability, добавляя более глубокую аналитику, автоматизацию и бизнес-контекст. Это помогает командам перейти от реактивного устранения неполадок к проактивному, управляемому управлению AI-системами.

02Как понять поведение AI-систем в production

По мере того как организации переходят от экспериментов с генеративным ИИ к его внедрению в критически важные приложения, возникает новая задача: понять, как эти системы на самом деле ведут себя в production. GenAI больше не используется изолированно. Он всё чаще встраивается в агентные (agentic) рабочие процессы, где агенты взаимодействуют с API, конвейерами данных и корпоративными сервисами для достижения реальных бизнес-результатов.

Когда возникают проблемы, анализ первопричин становится значительно сложнее, охватывая как традиционные системы, так и уровни принятия решений на основе ИИ. Такие системы динамичны и адаптивны. Модели, промпты и рабочие процессы постоянно меняются, что вносит новые уровни операционной сложности, риска и неопределённости, для которых традиционные подходы к мониторингу не были предназначены. Именно поэтому наблюдаемость должна продолжать развиваться.

03От видимости GenAI к пониманию AI-систем

В октябре 2025 года IBM Instana представила GenAI Observability, обеспечив базовую видимость AI-приложений. Команды используют её для мониторинга производительности GenAI, трассировки запросов через AI и традиционные сервисы, а также отслеживания токенов и затрат по моделям.

Однако по мере масштабного развёртывания агентных систем характер задач наблюдаемости изменился. Команды переходят от мониторинга отдельных моделей к управлению динамическими многошаговыми AI-рабочими процессами, встроенными в реальные бизнес-процессы. Этот переход порождает новые требования, в том числе необходимость:

• Автоматически обнаруживать и отслеживать постоянно меняющихся агентов, модели и зависимости в динамических AI-системах.
• Непрерывно оценивать AI-выходные данные в масштабе, чтобы гарантировать качество, согласованность и соответствие бизнес-задачам.
• Устанавливать базовый уровень поведения AI и обнаруживать отклонения в производительности, затратах и результатах по мере эволюции систем.
• Понимать, как агенты принимают решения в многошаговых рабочих процессах (не только что произошло, но и почему).

Видимость остаётся необходимой. Но по мере того как AI-системы становятся более автономными и взаимосвязанными, организациям нужно строить на этом фундаменте более глубокое понимание и контроль.

04Что предлагает IBM Instana AI Agent and LLM Observability

1. Автоматическое обнаружение и понимание AI-систем

AI-системы динамичны. Новые агенты, модели и зависимости постоянно меняются. Ручное отслеживание требует много времени и чревато ошибками. AI Agent and LLM Observability вводит автоматическое обнаружение, непрерывно идентифицируя AI-компоненты и отображая их взаимодействие в приложении. Это создаёт в реальном времени сквозную картину агентов и рабочих процессов, базовых LLM и зависимостей между сервисами и инфраструктурой. Команды могут сразу понять, как AI вписывается в production-системы, без ручного труда.

2. Оценка качества AI

В случае с AI успех — это не только время безотказной работы, но и качество выходных данных. Встроенные оценки теперь позволяют командам проверять, насколько модели и агенты соответствуют своему назначению. Используя такие методы, как LLM-as-a-judge, команды могут измерять точность, релевантность, согласованность и другие заданные пользователем критерии. Оценки могут запускаться регулярно или в ключевые моменты, например после обновления модели или промпта, что обеспечивает структурированный способ раннего обнаружения дрейфа, галлюцинаций или деградации. Это заменяет ручную выборочную проверку масштабируемым управлением качеством.

3. Обнаружение проблем до того, как они повлияют на бизнес

Поведение AI меняется со временем, что затрудняет определение «нормы». Благодаря адаптивному базированию Instana изучает паттерны производительности, поведения и затрат и автоматически обнаруживает значимые отклонения. Будь то всплеск задержки, аномалия затрат или неожиданное поведение, команды могут выявить проблемы на ранней стадии и принять меры до того, как они затронут пользователей.

4. Понимание решений, а не только систем

С AI-системами недостаточно знать, что произошло. Нужно понимать, почему. AI Agent and LLM Observability вводит видимость на уровне задач, показывая, как агенты рассуждают и принимают решения. Команды могут проследить сквозные рабочие процессы, увидеть вызовы LLM, взаимодействия с инструментами и последовательность действий, приведших к результату. Это позволяет диагностировать сложные проблемы и обеспечивать подотчётность AI-решений.

05Следующий этап AI-операций

По мере того как AI встраивается в бизнес-процессы, организациям требуется нечто большее, чем мониторинг AI, — им нужны уверенность, контроль и подотчётность. С AI Agent and LLM Observability IBM Instana помогает командам:

• Понимать AI-системы от начала до конца.
• Регулярно оценивать качество и производительность.
• Обнаруживать проблемы до того, как они перерастут в инциденты.
• Связывать поведение AI с бизнес-результатами.

AI Agent and LLM Observability теперь доступен в публичной предварительной версии.

06Источники

• Artificial Intelligence — IBM
• IT automation — IBM
• GenAI Observability — IBM
• Learn more about AI Agent and LLM Observability — IBM