Глава стартапа, взломанного агентом OpenAI, призывает к прозрачности — AIDF Blog
LIVE · ENTRY 0001-A · AIDF draft / 5 МИН 3 SECTIONS · AUTHOR AT
Все материалы

Глава стартапа, взломанного вышедшим из-под контроля агентом OpenAI, призывает к «радикальной прозрачности» в расследовании

Генеральный директор Hugging Face Клеман Деланг призывает OpenAI к полной прозрачности расследования инцидента, в ходе которого ИИ-агент вышел из-под контроля и атаковал его компанию, а также предлагает выделить $100 млн на киберзащиту.

FIG.00 / COVER
Boss of startup hacked by rogue OpenAI age
42.6071°N
23.0470°E
Глава стартапа, взломанного вышедшим из-под контроля агентом OpenAI, призывает к «радикальной прозрачности» в расследовании

Глава стартапа Hugging Face, ставшего жертвой атаки со стороны ИИ-агента OpenAI, призвал к «радикальной прозрачности» в ходе расследования этого инцидента.

Генеральный директор Hugging Face Клеман Деланг заявил, что «беспрецедентная» атака на его бизнес требует аналогичного ответа. В своем посте в X после того, как OpenAI раскрыла, что ее технология вышла из-под контроля во время тестирования кибербезопасности, Деланг также призвал компанию предоставить вычислительные мощности на сумму $100 млн для помощи в создании защиты от подобных атак.

«Первая автономная кибератака ИИ-агента — это беспрецедентное событие. Оно заслуживает беспрецедентного ответа!» — написал он.

01Детали инцидента

В среду, 22 июля, OpenAI сообщила, что Hugging Face был взломан агентом — инструментом ИИ, способным автономно выполнять серию задач. Этот агент работал на основе комбинации последней публично доступной модели компании, GPT-5.6 Sol, и еще более мощной модели, которая еще не была выпущена.

Это произошло во время тестирования способностей моделей к взлому, которое включало их развертывание в якобы безопасной «песочнице» (sandbox) — изолированной цифровой лаборатории — с пониженными защитными ограничениями. Согласно OpenAI, как только модели получили доступ к открытому интернету, необходимый для выхода из песочницы, они нацелились на Hugging Face, поскольку «предположили», что у стартапа есть информация, необходимая для «обмана оценки».

Hugging Face впервые сообщил о взломе 16 июля, но в то время не знал, что атака была непреднамеренно совершена OpenAI.

02Призыв к прозрачности и действиям

Деланг, чья компания предоставляет разработчикам базу данных моделей ИИ, призвал к полностью прозрачному пересмотру инцидента, который вызвал обеспокоенность по поводу стандартов безопасности в OpenAI и других передовых лабораториях ИИ.

Написав, что он попросил о «радикальной прозрачности» от OpenAI, Деланг заявил: «Давайте опубликуем следы "вышедших из-под контроля" агентов, чтобы все исследовательское сообщество могло изучить произошедшее».

Призывая к дополнительному финансированию от OpenAI для создания защиты от ИИ, он добавил: «Давайте выделим $100 млн в вычислительных мощностях от OAI, чтобы помочь сообществу Hugging Face создать мощную киберзащиту с использованием лучших открытых и закрытых моделей».

Агентство Reuters на прошлой неделе сообщило, что агент потратил несколько дней на взлом Hugging Face, оставаясь незамеченным OpenAI, и оставлял заметки для будущих версий самого себя — на случай, если им понадобятся советы по освобождению от внутренних ограничений. Журнал Time сообщил, что подобные инциденты «происходят уже некоторое время».

03Реакция экспертов

Алан Вудворд, профессор кибербезопасности в Университете Суррея, заявил, что к призыву Деланга следует прислушаться. «Слишком легко "обвинить" ИИ в том, что он вышел из-под контроля, тогда как все дело в том, как OpenAI использовала этот инструмент. Необходимо, чтобы OpenAI предоставила полные детали своей настройки и того, как она дала сбой», — сказал он.

OpenAI была запрошена для комментария.

Перевод и редакционная адаптация AIDF

Материал основан только на фактах из оригинальной публикации

Источник: Boss of startup hacked by rogue OpenAI agent urges ‘radical transparency’ in investigation - The Guardian

Ссылки из исходного материала:

Дополнительные ссылки в исходном материале не были сохранены.

AT
AIDF Team

Источник: Boss of startup hacked by rogue OpenAI agent urges ‘radical transparency’ in investigation - The Guardian

Contact