Перейти к содержимому
Экосистема AI Vibe

Новости

EDD для LLM-продукта: как Dosu масштабировал оценки через LangSmith

Редакция 9 ноября 2026 г.

Инженер сравнивает трейсы LLM-агента в LangSmith и офлайн-набор оценок перед выкладкой новой версии промпта.

У ассистента Dosu на GitHub та же ловушка, что у любого LLM-продукта: правка промпта в одном месте улучшает сценарий, в другом — ломает. С июня 2023 года команда ушла от ручного просмотра ответов к evaluation driven development (EDD) и LangSmith; Devin Stein описал, как это выглядит, когда бот стоит на тысячах репозиториев и генерирует ответы круглосуточно.

В тексте всплывает цифра про индустрию: до 85% времени разработчиков уходит на вопросы, триаж issue и сопутствующую рутину, а не на код. Dosu забирает эту работу с плеч мейнтейнеров. На старте хватало grep и print по логам, но при росте объёма без трейсинга пропадает ключевой шаг — находить аномалии в проде и подкладывать их в датасеты оценок.

Цикл EDD

EDD у команды устроен по аналогии с разработкой через тесты: офлайн-eval — эталон, любое изменение логики, модели или промпта сначала проверяется на регрессии.

  • новое поведение — с небольшим стартовым набором evals;
  • выкладка пользователям и мониторинг в проде;
  • поиск сбоев и добавление примеров в офлайн-набор;
  • итерация по evals и повторный релиз.

Критерии для мониторинга

Перед переходом на LangSmith зафиксировали четыре условия: промпты живут в Git и меняются как код; между несколькими вызовами модели в одном сценарии нужен code-level tracing с метаданными; данные экспортируются в уже существующие eval-инструменты; платформа настраивается под быстро меняющийся стек LLM-приложений.

Трейсы и плохие ответы

Внедрение через SDK свелось к декоратору @traceable на LLM-функциях — авторы пишут, что на прод ушли за минуты, и в UI сразу пошли трейсы с сырыми входами, отрендеренными шаблонами промптов и ответами модели. Ищут сбои по thumbs up/down, тону в GitHub, внутренним ошибкам (размер I/O, несовпадение со схемой) и задержкам; в LangSmith по этим сигналам находили залипание на гигантских логах и ответ про концерт вместо лейбла на pull request.

Найденный паттерн снова уходит в eval-датасет; дальше хотят автоматически собирать наборы из продакшен-трафика по темам, сегментам и типам запросов.

Источник: Iterating Towards LLM Reliability with Evaluation Driven Development.