Лучшие тулы ухудшили Copilot code review — пока не переписали инструкции

GitHub пересадила Copilot code review на общие инструменты из Copilot CLI — grep, glob и view — и в офлайн-бенчмарках выросла стоимость ревью, а полезных замечаний стало меньше. Тулы работали штатно: агент искал по всему репозиторию, будто ему дали задачу «разобраться в проекте», а не проверить один pull request.

Широкий поиск вместо вопросов к диффу

До миграции у code review были свои инструменты — list_dir, search_file, search_dir, read_code — и они автоматически подкладывали соседний код вокруг найденных строк. Общие тулы отдавали ровно то, что запросили.

В трейсах агент угадывал пути, читал лишние файлы и нёс результаты дальше в контекст. Каждый вызов инструмента остаётся в рабочем окне — лишний код не исчезает после просмотра и раздувает следующие шаги рассуждения.

Подсказки под ритм ревьюера

Команда переписала инструкции к тулам: старт от диффа, конкретный вопрос, сужение поиска, чтение только нужного диапазона. Ритм сменился с «пролистать, прочитать, искать снова» на «спросить, сузить, прочитать, решить».

• Сформулировать вопросы ревью из диффа.
• glob — когда путь неясен; grep — для файлов, символов и вызовов.
• Сгруппировать дешёвый поиск, прежде чем открывать файлы.
• view — только когда известны файл и диапазон строк.
• При ошибке grep — один упрощённый повтор; при неверном пути — glob, а не угадывание соседних каталогов.

20% дешевле в проде

После настройки средняя стоимость ревью в проде снизилась примерно на 20% при том же уровне качества. Обращений к инструментам стало столько же, но больше из них уходило на релевантные доказательства вокруг диффа.

Тот же приём в Copilot CLI выигрыша не дал: там часто нужен широкий обход репозитория, потому что нет якоря в виде диффа одного PR.

Источник: Better tools made Copilot code review worse. Here's how we actually improved it..