Фронтирные модели под прицелом: Anthropic предлагает право блокировать релиз

Claude Mythos Preview в этом году нашёл тысячи уязвимостей высокой серьёзности — в каждой крупной ОС и браузере. На этом фоне Anthropic предлагает Advanced AI Framework: правительству США — право блокировать или сдерживать опасные релизы, если модель несёт риск катастрофического вреда.

Документ — первая часть Policy on the AI Exponential; вторая половина про экономику и работников. Для кодера важнее первая: в ней рамка для самых мощных систем, которые уже ищут дыры в инфраструктуре сами.

Кого коснётся

Порог — модели, обученные на более чем 10²⁵ FLOPs, и компании с выручкой от ИИ свыше $500 млн или расходами на ИИ-исследования больше $1 млрд. Штрафы привязывают к глобальному годовому обороту и усиливаются при повторных нарушениях.

Четыре риска и четыре требования

Каркас называет четыре катастрофических сценария: биологическое оружие без барьеров, кибератаки через критические уязвимости в больницах и энергосетях, потеря контроля над системой и ускорение собственного развития ИИ, которое множит первые три.

• Прозрачность — тесты, system cards, регулярные отчёты о рисках; часть этого уже требуют законы Калифорнии и Нью-Йорка.
• Независимая экспертиза — минимум один квалифицированный оценщик публикует ревью.
• Безопасность — защита весов модели и инфраструктуры обучения от атак снаружи и изнутри.
• Регуляторные «зубы» — блокировка релизов с угрозой катастрофического вреда, но с ограничениями от злоупотреблений.

Anthropic просит не отменять штатное законодательство, пока федеральный закон не станет не слабее этой рамки. По их формулировке, одной публичной страницы про безопасность уже недостаточно — темп возможностей моделей обгоняет привычную политику.

Источник: Policy on the AI Exponential.