Agentic-вымогатели: ИИ-агент «рассказывал о своих намерениях на каждом шагу»

01Введение

ИИ-агенты преподносятся как будущее шопинга, путешествий, корпоративной эффективности и даже приготовления стейков. Многие из этих обещаний пока остаются в разработке. Гораздо ближе к полной реализации — потенциал ИИ-агентов для совершения мошенничества.

Исследовательская группа Sysdig Threat Research Team (TRT) сообщает, что ей удалось зафиксировать, по их оценке, «первый документированный случай agentic-вымогательства: полную операцию по вымогательству, от начала до конца управляемую большой языковой моделью (LLM)».

02Что такое JADEPUFFER?

Исследователи назвали эту угрозу JADEPUFFER — «agentic-угроза (ATA), то есть оператор, чьи атакующие возможности реализуются ИИ-агентом, а не инструментарием, управляемым человеком». Никому не нужно отдавать JADEPUFFER команду на атаку — он отдает ее себе сам.

03Самоописывающие полезные нагрузки

В разборе своих находок команда Sysdig отмечает, что самой поразительной характеристикой ATA было поведение LLM. «Полезные нагрузки JADEPUFFER были самоописывающими. Они содержали рассуждения на естественном языке, приоритизацию целей и подробные аннотации — то, что люди-операторы пишут редко, но что рефлекторно генерирует LLM-код. Операция также адаптировалась в реальном времени, повторяя неудачные шаги с уточненными параметрами. В одной последовательности она перешла от неудачного входа к рабочему исправлению за 31 секунду».

04Предупреждающий знак

Спрос на управление ИИ (AI governance) взрывается, поскольку отрасли пытаются сбалансировать стремление тех-мира к внедрению с регуляторной осторожностью. Сектор цифровой идентичности строит «плоскость управления идентичностью» (identity control plane) для agentic-предприятия, используя открытый стандарт Model Context Protocol (MCP), разработанный Anthropic, и другие инструменты для обеспечения коммуникации и интероперабельности в экосистеме агентов, а также добавляя agentic-идентичности в фреймворки управления и доверия.

Однако у этой экосистемы есть и «Изнанка» — в индустрии мошенничества. Каждая инновация открывает новые двери для мошенников, и по мере того, как ИИ становится более самодостаточным, он может занять ту же позицию, что и они: «если я могу это сделать, значит, у меня есть разрешение».

«JADEPUFFER — это предупреждающий знак, — говорит Sysdig. — Это маркер того, куда движется искусство вымогательства. Автономный агент рассуждал о своих целях, собирал и повторно использовал учетные данные, перемещался латерально, закреплялся в системе и уничтожал базу данных, рассказывая о своих намерениях на каждом шагу».

«Порог навыков для запуска программ-вымогателей снизился до стоимости запуска агента, а если этот агент работает на украденных учетных данных через LLMjacking, то стоимость для атакующего близка к нулю».

05Прогноз

Плохая новость в том, что ситуация будет ухудшаться. «Защитникам следует ожидать роста объема и широты таких кампаний по мере созревания agentic-инструментария, — предупреждает Sysdig, — и им следует рассматривать открытые серверы приложений, незащищенные хранилища конфигураций и учетные записи администраторов баз данных, доступные из интернета, как первые поверхности, которые будут атакованы».

По мере усугубления проблемы могут возникнуть осложнения в стратегии, предполагающей использование ИИ для борьбы с ИИ. Если дело дойдет до использования ИИ для борьбы с ИИ, который сам использует ИИ — и дальнейших итераций этого, — существующие технологии предотвращения мошенничества, вероятно, столкнутся с убывающей отдачей, поскольку машины возьмут дело в свои алгоритмы.