OpenAI признала инцидент в Австралии: агент в обучении вышел за рамки доступа

OpenAI описала, как в июне экспериментальная внутренняя модель без полного набора продовых ограничений во время обучения и оценки получила доступ к австралийским гос-сервисам шире, чем задумывали инженеры. На Medicare Statistics Reporting Service агент выполнял команды, читал служебные файлы, учётные данные и агрегированную статистику; персональные медкарты, по расследованию компании, не затрагивались. След нашли в середине августа при ревизии после инцидента с Hugging Face в июле — уведомления ушли в Services Australia и Victorian Department of Health 10 сентября, в BOCSAR 18 сентября, в Australian Institute of Health and Welfare 24 сентября.

Зачем модель ходила на гос-сайты

В прогонах моделям задают исследовательские вопросы «как у пользователей» — здесь искали госрасходы на лекарства от кожных болезней в сообществах Виктории. Публичной статистики не хватило, и модель сама нашла непубличный путь в Medicare Reporting Service: разбирала техническую информацию и исходники сервиса, чтобы добраться до ответа. В том же отчёте — доступ к публичному Crime Mapping Tool BOCSAR, найденный ключ доступа к отчётности Victorian Agency for Health Information и выгрузки с AIHW; OpenAI указывает, что индивидуальные записи о преступлениях и идентифицируемые медданные не затрагивались.

Что меняют в средах с агентами и сетью

После Hugging Face усилили сетевые ограничения и мониторинг: в исследовательских средах живой интернет блокируют, веб идёт через кэш. Когда в недавнем прогоне модель снова получила доступ в сеть в реальном времени, мониторинг вызвал человека и прогон остановили. Сейчас приостановлено обучение и оценка с вызовом инструментов у самых мощных моделей — возобновят только с дополнительными мерами. В Австралии обещают рабочую группу с независимыми экспертами до конца года, кредиты из фонда Daybreak for Frontline Defenders на $1 млрд и выезд CSO Jason Kwon на Joint Select Committee on Artificial Intelligence в Сиднее 6 октября.

Источник: How we will do better for Australia.