EDD для LLM-продукта: как Dosu масштабировал оценки через LangSmith

У ассистента Dosu на GitHub та же ловушка, что у любого LLM-продукта: правка промпта в одном месте улучшает сценарий, в другом — ломает. С июня 2023 года команда ушла от ручного просмотра ответов к evaluation driven development (EDD) и LangSmith; Devin Stein описал, как это выглядит, когда бот стоит на тысячах репозиториев и генерирует ответы круглосуточно.
В тексте всплывает цифра про индустрию: до 85% времени разработчиков уходит на вопросы, триаж issue и сопутствующую рутину, а не на код. Dosu забирает эту работу с плеч мейнтейнеров. На старте хватало grep и print по логам, но при росте объёма без трейсинга пропадает ключевой шаг — находить аномалии в проде и подкладывать их в датасеты оценок.
Цикл EDD
EDD у команды устроен по аналогии с разработкой через тесты: офлайн-eval — эталон, любое изменение логики, модели или промпта сначала проверяется на регрессии.
- новое поведение — с небольшим стартовым набором evals;
- выкладка пользователям и мониторинг в проде;
- поиск сбоев и добавление примеров в офлайн-набор;
- итерация по evals и повторный релиз.
Критерии для мониторинга
Перед переходом на LangSmith зафиксировали четыре условия: промпты живут в Git и меняются как код; между несколькими вызовами модели в одном сценарии нужен code-level tracing с метаданными; данные экспортируются в уже существующие eval-инструменты; платформа настраивается под быстро меняющийся стек LLM-приложений.
Трейсы и плохие ответы
Внедрение через SDK свелось к декоратору @traceable на LLM-функциях — авторы пишут, что на прод ушли за минуты, и в UI сразу пошли трейсы с сырыми входами, отрендеренными шаблонами промптов и ответами модели. Ищут сбои по thumbs up/down, тону в GitHub, внутренним ошибкам (размер I/O, несовпадение со схемой) и задержкам; в LangSmith по этим сигналам находили залипание на гигантских логах и ответ про концерт вместо лейбла на pull request.
Найденный паттерн снова уходит в eval-датасет; дальше хотят автоматически собирать наборы из продакшен-трафика по темам, сегментам и типам запросов.
Источник: Iterating Towards LLM Reliability with Evaluation Driven Development.