AI-агенты с трудом соблюдают бизнес-правила при автоматизации SaaS-процессов

01Введение

Компания Artificial Analysis запустила AutomationBench-AA — независимый лидерборд, оценивающий способность AI-агентов автоматизировать реальные SaaS-процессы с соблюдением бизнес-правил. Бенчмарк, разработанный в партнерстве с Zapier, оценивает модели на 657 задачах в различных доменах — финансы, HR, маркетинг — в 40 симулированных средах приложений, включая Gmail, Salesforce и Jira.

Основной показатель AutomationBench-AA отражает процент целей, которые модель выполняет без нарушения каких-либо ограничений (guardrails), представляющих собой критические бизнес-правила. Это ключевое отличие от собственного лидерборда Zapier, подчеркивающее важность соответствия требованиям в корпоративной автоматизации.

02Лидеры по производительности и соблюдение ограничений

Claude Fable 5 от Anthropic лидирует в первых оценках с результатом 48,6%, за ним следует Claude Opus 4.8 с 48,5%. Gemini 3.5 Flash от Google DeepMind набрал 42,6%, а GPT-5.5 (xhigh) от OpenAI — 42,1%.

Несмотря на высокие показатели выполнения целей, все оцененные модели демонстрировали нарушения ограничений. Gemini 3.5 Flash показал наилучшее соотношение — 15,0 целей на одно нарушение, опережая Claude Opus 4.8 с показателем 13,5.

Gemini 3.5 Flash также выделяется экономической эффективностью: он практически соответствует GPT-5.5 (xhigh) по производительности при затратах около 37% от стоимости ($0,49 за задачу против $1,32).

Среди моделей с открытыми весами лидирует GLM-5.2 (max) от Z.ai с результатом 27,8%, хотя он отстает примерно на 10 пунктов от Gemini 3.1 Pro Preview и демонстрирует значительно больше нарушений ограничений.

03Сложность процессов и подходы моделей

Бенчмарк выявил различную сложность задач в разных бизнес-доменах. Финансовые процессы оказались наиболее трудными для автоматизации: агенты выполнили лишь около трети финансовых целей — примерно вдвое меньше, чем в задачах поддержки и операций (около 60%).

Стили работы моделей существенно различаются. GPT-5.5 (xhigh) использует интенсивный подход с 49 вызовами инструментов за 25 шагов на задачу. В отличие от него, Claude Opus 4.8 (max) действует более обдуманно: 35 вызовов инструментов всего за 14 шагов, что приводит к меньшему числу нарушений ограничений (0,55 против 0,66 на задачу).

Эти данные критически важны для разработчиков, проектирующих и развертывающих AI-агентов в сложных корпоративных средах.