Перейти к содержимому
Экосистема AI Vibe

Новости

LangSmith ловит продовые сбои агентов — алерты по трейсам

Редакция 19 ноября 2026 г.

Экран настройки алертов LangSmith с порогами по ошибкам, задержке и оценкам для продовых трейсов агента.

В LangSmith появились алерты для продовых LLM-приложений и агентов: платформа смотрит на трейсы в реальном времени и срабатывает, когда показатель выходит за порог. Анонс команды LangChain — 22 апреля 2025 года. Если продовые запуски уже пишутся в LangSmith, первый алерт можно поднять без второго стека мониторинга.

Агентные сценарии завязаны на внешние сервисы — несколько провайдеров моделей, API, поиск, базы. Аутедж, rate limit или рост задержки у любого звена сразу бьёт по отклику. Качество отдельно: промпт, который держался в контролируемых eval, на живых диалогах может просесть из‑за других формулировок входа — алерты по оценкам фидбека задуманы как ранний сигнал таких просадок.

Какие метрики

  • количество и доля ошибок (Error Count and Rate);
  • средняя задержка (Average Latency);
  • средняя оценка фидбека (Average Feedback Score).

Для каждой метрики есть фильтры по подмножеству запусков: модель, вызов инструмента (tool call) или тип run.

Чувствительность и доставка

Окно агрегации — 5 или 15 минут, порог настраивается вручную. Уведомления — через PagerDuty, свой вебхук или напрямую в канал Slack.

Что обещают дальше

В roadmap — алерты по числу запусков и расходу токенов, относительные пороги для скачков метрик (в материале пример — рост задержки на 25 %) и произвольные временные окна.

Источник: Catch production failures early with LangSmith Alerts.