Исследователи представили AgenticDataBench — бенчмарк для LLM-агентов работы с данными

01Введение

Исследователи опубликовали на arXiv 2 июля 2026 года статью, представляющую AgenticDataBench — бенчмарк для LLM-агентов, работающих с данными. Бенчмарк охватывает 15 предметных областей и включает пять реальных сценариев использования из сферы B2B fintech.

02Что такое AgenticDataBench

AgenticDataBench предназначен для оценки LLM-агентов, автоматизирующих реалистичные рабочие процессы data science. В отличие от многих существующих бенчмарков, он использует детальные метки (fine-grained labels), что позволяет точнее оценить, насколько хорошо агент справляется с конкретными задачами.

Авторы описывают процесс построения бенчмарка на основе навыков (skill-based construction): из крупномасштабных решений задач извлекаются повторяющиеся операционные паттерны, которые затем используются для улучшения покрытия задач и сокращения избыточности.

03Технический контекст

Оценка агентов для работы с данными сложна, потому что ошибки редко возникают в одном очевидном месте. Агент может правильно инспектировать схемы, но ошибаться при объединении таблиц; хорошо очищать данные, но выбирать слабую визуализацию; генерировать правдоподобный код, но упускать бизнес-ограничения. Бенчмарк, организованный вокруг повторно используемых навыков, даёт оценщикам более чёткую карту того, где происходят сбои и какие рабочие процессы требуют ручной проверки, более узких промптов, лучших инструментов или более строгих песочниц выполнения.

04Что это значит для практиков

Наиболее сильный сигнал — не то, что появился ещё один бенчмарк, а то, что он пытается показать, какие именно навыки data science может выполнять агент, а не сводить производительность к единому агрегированному баллу. Это важно для команд, внедряющих агентов для написания кода или анализа: агент, который хорошо справляется с очисткой, но плохо — с многомерными рассуждениями, или силён на сгенерированных задачах, но слаб на реалистичных бизнес-задачах, требует разных механизмов контроля.

Открытый тестовый стенд (testbed) также даёт командам возможность воспроизводить сбои и сравнивать инструментальные цепочки в единой среде.

05На что обратить внимание

На данный момент AgenticDataBench следует рассматривать как исследовательский артефакт, а не как доказательство готовности текущих агентов к промышленной эксплуатации. Публичные материалы определяют бенчмарк и инфраструктуру для его использования, но реальное внедрение будет зависеть от стабильности задач, развития обработки приватных тестов и того, будут ли будущие результаты показывать устойчивый прогресс за пределами среды бенчмарка.

Тем не менее, этот релиз — полезный шаг к более конкретной оценке агентных систем data science.

06Источники

1. AgenticDataBench: A Comprehensive Benchmark for Data Agents — arXiv
2. AgenticDataBench/AgenticDataBench — GitHub
3. shawnzzzh/AgenticDataBench — Hugging Face Datasets