В LangSmith свой UI поверх трейсов — без отдельного хостинга

В LangSmith появились Custom Apps: свой интерфейс поверх трейсов, экспериментов и аннотаций можно собрать, опубликовать в workspace и открывать там же — без отдельного хоста, своей аутентификации и настройки прав. Раньше такие экраны часто клеили через LangSmith API и coding-агента, но хостинг и доступ оставались на вас; теперь приложение живёт рядом с тем, где команда уже смотрит evals.

На Plus и Enterprise можно описать в LangSmith Chat, какие данные показать и как их разложить — чат собирает рабочее приложение. Кто предпочитает код, берёт шаблон и дорабатывает через API вместе с агентом в редакторе. После публикации интерфейс общий для workspace: не выгружать выборки и не пересобирать тот же дашборд перед каждым релизным ревью.

Тарифы

Plus — одно Custom App на организацию и чат-сборка. Enterprise — без лимита по числу приложений; там же сценарий «опиши в чате — получи UI».

Типичные сценарии

• Аннотации — инженеру нужен полный trace с вызовами инструментов и метаданными, предметному эксперту достаточно запроса, ответа и rubric; лишнее можно спрятать.
• Эксперименты — сравнивать версии промпта, сегменты клиентов или провайдера модели вместо каждый раз клеить одни и те же графики.
• Трейсы — для support смотреть тон и факт решения, для research-агента — источники и число вызовов инструментов.

У Chime human-in-the-loop раньше сидел в таблицах и сторонних тулах, файлы готовили вручную. Их Custom App для structured LLM evaluation и annotation крутится внутри LangSmith: ревьюер берёт очередь, правит вывод и кладёт результат в dataset — без смены платформы (в материале LangChain — Roxanne Wang, Chime).

Источник: LangSmith Custom Apps: Build custom interfaces around your agent data.