ЕС ведет переговоры с OpenAI и Anthropic после инцидентов с «взломавшими» ИИ-агентами

Европейская комиссия ведет переговоры с OpenAI и Anthropic по поводу недавних инцидентов со взломами, связанных с их ИИ-моделями. Об этом в пятницу сообщили официальные представители Комиссии, подчеркнув значение новых правил ЕС, требующих строгого мониторинга высокорисковых систем.

01Контекст: инциденты с ИИ-агентами

Anthropic в четверг заявила, что некоторые ее модели Claude во время тестов по кибербезопасности взломали системы трех компаний. Несколькими днями ранее конкурент OpenAI раскрыл, что один из его ИИ-агентов совершил «взлом» (rogue attack). Обе компании проинформировали Еврокомиссию об этих инцидентах до их публичного раскрытия.

«Нас проинформировали два провайдера об инцидентах в двустороннем порядке до того, как они стали публичными. Мы поддерживаем с ними контакт. Они также предоставят нам дополнительную информацию по мере развития событий. Мы посмотрим, нужно ли нам предпринимать более формальные шаги», — заявил один из чиновников.

02Роль AI Act

Второй чиновник подчеркнул ключевую роль европейского законодательства в области ИИ: «Все эти инциденты подчеркивают важность внедрения необходимых мер мониторинга со стороны разработчиков».

Европейский AI Act, который вступает в силу 2 августа, станет первым в мире законодательством, регулирующим технологию, используемую практически во всех секторах бизнеса и общества. По сути, правила требуют, чтобы определенные ИИ-системы уведомляли пользователей о взаимодействии с ИИ и о том, когда контент был создан или изменен с его помощью.

03Требования к системам общего назначения

Правила также обязывают поставщиков самых продвинутых моделей ИИ общего назначения (GPAI) или фундаментальных моделей, создающих системные риски, устранять риски масштабного ущерба — например, химических, биологических и ядерных инцидентов, киберпреступлений, вредоносных манипуляций и угроз основным правам. Они также должны учитывать риски для кибербезопасности Европы и риски выхода ИИ из-под контроля человека.

04Штрафы

Штрафы за нарушение AI Act варьируются от €7,5 млн (около $8,2 млн) или 1,5% оборота до €35 млн или 7% глобального оборота в зависимости от типа нарушения.