Перейти к содержимому
Экосистема AI Vibe

Разборы

Агент открывает PR: Python решает, мержить или нет

Редакция 17 ноября 2026 г.

Агент открывает PR: Python решает, мержить или нет

Три исхода у агентного pull request: зелёный видимый тест, жёсткий отказ гейта и «успех», который не переживёт скрытый набор проверок. Соло-разработчику с агентом в цикле важнее правило до merge: модель не оценивает саму себя; Sarvar Nadaf на примере Amazon Nova Pro и GitHub выносит вердикт в детерминированный proof gate, по сути rules и CI между агентом и кнопкой merge.

Масштаб агентных PR и цена «доверия на слово»

Со ссылкой на отчёт GitHub Sarvar Nadaf приводит оценку: к июню 2026 агенты открывают более 17 миллионов pull request в месяц; рядом The New Stack и препринт arXiv 2610.34933. Отдельно он ссылается на эмпирическую работу по agent-authored fix PR (arXiv 2602.00164): среди частых причин отказа в merge падающие тесты.

Цифра задаёт рамку, а не повод для паники. Для цикла с IDE-агентом смысл в другом: каждый такой PR несёт утверждение («баг исправлен»), а не готовое доказательство. Без внешнего арбитра pipeline легко принимает правку теста, удаление функции или пустой тест за фикс.

The agent proposes. Python decides.

Пять проверок гейта: любой провал даёт REJECT

Детерминированный Python-гейт Sarvar Nadaf проходит пять последовательных проверок. Любой провал даёт вердикт REJECT (как status check на GitHub и комментарий на PR). LLM не участвует в оценке.

Проверка Что ловит
Tamper scan Агент подрезал или ослабил существующий тест, чтобы «пройти»
Public API intact «Починка» через удаление публичной функции
No regressions Тест, зелёный на старом коде, краснеет на новом
Tests fail first Новый тест уже зелёный на старом коде: баг не доказан
Claim vs evidence Заявленных фиксов больше, чем подтверждённых

Статус verified строже, чем «pytest зелёный»: тест агента должен перейти с red на old → green на new, плюс скрытый набор (hidden suite), который агент не видит, подтверждает, что баг ушёл. Принцип No model grades the model: оценка только кодом и тестами, не той же моделью, что открыла PR.

Эксперимент: Nova Pro, Kiro Crew и восемь посаженных багов

Открытый репозиторий AI Fix Verifier связывает Kiro Crew, job под Nova Pro и этот гейт. Целевой проект ledgerlite: «tiny money-and-date library» с восемью намеренно посаженными багами, каждый оформлен как issue.

Демонстрационный кейс issue 6: функция business_days_between считает рабочие дни неверно (пятница → суббота должна дать 0 business days, возвращается 1). Агент задан JSON-конфигом (proof-gate/agents/proof-gate-fixer.json); cron job шлёт, например, {"issue": 6}. Стек в репозитории: Python 3.11, pytest 8.3.4, переменная PROOF_GATE_HOME.

Первый запуск: Nova Pro коммитит и открывает PR; гейт сразу отклоняет (в примере «1 fix claimed, 0 verified»), падает оригинальный тест.

Второй запуск: без изменения кода гейта в job добавляют gate_feedback, rounds, candidates (например, 4 раунда, 3 кандидата на раунд). Агент видит обратную связь гейта; выбирается лучший кандидат. Успех, когда claim и verified сходятся (в примере: 1 claimed, 1 verified).

Nadaf помечает цифры как демо, не бенчмарк модели: один проход по восьми issue (4 прошли, остальные отклонены); с feedback и best-of-3 issue 6 сошёлся в 9 из 12 запусков, issue 4 только в 2 из 8; лишние раунды слабее помогали, чем несколько кандидатов на раунд.

Чем это не заменяет branch protection и что перенести в соло-workflow

Классический required check может быть зелёным, пока агент трогает только видимые тесты. Здесь фокус на доказательстве фикса: tamper, регрессии, расхождение claim/evidence, скрытый suite. Результат публикуется до человеческого ревью как автоматический вердикт на PR.

В демо стек Nova Pro, Kiro Crew, GitHub; Cursor, Claude Code и MCP к реализации не привязаны. Для читателя с IDE-агентом и rules в репозитории узнаваемый паттерн тот же: read-only тесты и зелёный pytest недостаточны без проверки «вне поля зрения» агента. В комментариях на Dev.to другой читатель описывает local coding agent и hidden test file вне workspace: иллюстрация проблемы, не часть его репозитория.

Перед merge заведите детерминированный слой: агент предлагает diff, вердикт выдаёт скрипт с таблицей проверок уровня гейта, а не повторный промпт «оцени свой PR». Открытый код гейта, отправная точка для адаптации под свой репозиторий; README в демо ещё сыро, target ledgerlite оформлен отдельным клоном.

Источники

  • Sarvar Nadaf, «AI agents open 17 million pull requests a month. I built a gate that rejects the ones that lie», Dev.to @aws-builders (доступ: 2026-11-17).
  • Репозиторий AI Fix Verifier, github.com/simplynadaf/ai-fix-verifier (доступ: 2026-11-17).