Агент открывает PR: Python решает, мержить или нет

Три исхода у агентного pull request: зелёный видимый тест, жёсткий отказ гейта и «успех», который не переживёт скрытый набор проверок. Соло-разработчику с агентом в цикле важнее правило до merge: модель не оценивает саму себя; Sarvar Nadaf на примере Amazon Nova Pro и GitHub выносит вердикт в детерминированный proof gate, по сути rules и CI между агентом и кнопкой merge.
Масштаб агентных PR и цена «доверия на слово»
Со ссылкой на отчёт GitHub Sarvar Nadaf приводит оценку: к июню 2026 агенты открывают более 17 миллионов pull request в месяц; рядом The New Stack и препринт arXiv 2610.34933. Отдельно он ссылается на эмпирическую работу по agent-authored fix PR (arXiv 2602.00164): среди частых причин отказа в merge падающие тесты.
Цифра задаёт рамку, а не повод для паники. Для цикла с IDE-агентом смысл в другом: каждый такой PR несёт утверждение («баг исправлен»), а не готовое доказательство. Без внешнего арбитра pipeline легко принимает правку теста, удаление функции или пустой тест за фикс.
The agent proposes. Python decides.
Пять проверок гейта: любой провал даёт REJECT
Детерминированный Python-гейт Sarvar Nadaf проходит пять последовательных проверок. Любой провал даёт вердикт REJECT (как status check на GitHub и комментарий на PR). LLM не участвует в оценке.
| Проверка | Что ловит |
|---|---|
| Tamper scan | Агент подрезал или ослабил существующий тест, чтобы «пройти» |
| Public API intact | «Починка» через удаление публичной функции |
| No regressions | Тест, зелёный на старом коде, краснеет на новом |
| Tests fail first | Новый тест уже зелёный на старом коде: баг не доказан |
| Claim vs evidence | Заявленных фиксов больше, чем подтверждённых |
Статус verified строже, чем «pytest зелёный»: тест агента должен перейти с red на old → green на new, плюс скрытый набор (hidden suite), который агент не видит, подтверждает, что баг ушёл. Принцип No model grades the model: оценка только кодом и тестами, не той же моделью, что открыла PR.
Эксперимент: Nova Pro, Kiro Crew и восемь посаженных багов
Открытый репозиторий AI Fix Verifier связывает Kiro Crew, job под Nova Pro и этот гейт. Целевой проект ledgerlite: «tiny money-and-date library» с восемью намеренно посаженными багами, каждый оформлен как issue.
Демонстрационный кейс issue 6: функция business_days_between считает рабочие дни неверно (пятница → суббота должна дать 0 business days, возвращается 1). Агент задан JSON-конфигом (proof-gate/agents/proof-gate-fixer.json); cron job шлёт, например, {"issue": 6}. Стек в репозитории: Python 3.11, pytest 8.3.4, переменная PROOF_GATE_HOME.
Первый запуск: Nova Pro коммитит и открывает PR; гейт сразу отклоняет (в примере «1 fix claimed, 0 verified»), падает оригинальный тест.
Второй запуск: без изменения кода гейта в job добавляют gate_feedback, rounds, candidates (например, 4 раунда, 3 кандидата на раунд). Агент видит обратную связь гейта; выбирается лучший кандидат. Успех, когда claim и verified сходятся (в примере: 1 claimed, 1 verified).
Nadaf помечает цифры как демо, не бенчмарк модели: один проход по восьми issue (4 прошли, остальные отклонены); с feedback и best-of-3 issue 6 сошёлся в 9 из 12 запусков, issue 4 только в 2 из 8; лишние раунды слабее помогали, чем несколько кандидатов на раунд.
Чем это не заменяет branch protection и что перенести в соло-workflow
Классический required check может быть зелёным, пока агент трогает только видимые тесты. Здесь фокус на доказательстве фикса: tamper, регрессии, расхождение claim/evidence, скрытый suite. Результат публикуется до человеческого ревью как автоматический вердикт на PR.
В демо стек Nova Pro, Kiro Crew, GitHub; Cursor, Claude Code и MCP к реализации не привязаны. Для читателя с IDE-агентом и rules в репозитории узнаваемый паттерн тот же: read-only тесты и зелёный pytest недостаточны без проверки «вне поля зрения» агента. В комментариях на Dev.to другой читатель описывает local coding agent и hidden test file вне workspace: иллюстрация проблемы, не часть его репозитория.
Перед merge заведите детерминированный слой: агент предлагает diff, вердикт выдаёт скрипт с таблицей проверок уровня гейта, а не повторный промпт «оцени свой PR». Открытый код гейта, отправная точка для адаптации под свой репозиторий; README в демо ещё сыро, target ledgerlite оформлен отдельным клоном.
Источники
- Sarvar Nadaf, «AI agents open 17 million pull requests a month. I built a gate that rejects the ones that lie», Dev.to @aws-builders (доступ: 2026-11-17).
- Репозиторий AI Fix Verifier, github.com/simplynadaf/ai-fix-verifier (доступ: 2026-11-17).