LangSmith Engine v2 сам red team’ит агента и гоняет фиксы до вашего ревью

С мая LangSmith Engine разобрал более 70 млн прод-трейсов и десятки тысяч issue; в v2 платформа добавила red team и прогон предложенных правок до вашего ревью. Внутренний агент LangSmith сканирует трейсы, группирует похожие падения и заранее ищет галлюцинации и нарушения системного промпта — ещё до жалоб пользователей.

Red Teaming смотрит прод-трейсы и репозиторий, понимает назначение агента и гоняет сценарии на слабые места. Сейчас это Private Beta для LangSmith Deployment — заявку подают на сайте LangChain. Отдельно Engine ловит то, что редко замечают вручную: повторные вызовы инструментов, неэффективные траектории, тренды error rate, latency и cost — всё в одной очереди issue.

Цикл до деплоя

• Red Teaming — проактивный поиск багов и промпт-проблем до прода.
• Траектории — лишние шаги к задаче и более короткая альтернатива.
• Тренды метрик — error rate, latency и cost во времени.
• Превалидация фикса — воспроизведение сбоя в Deployment, правка, те же входы, оценка и доработка; в очередь попадает проверенный вариант, PR — в один клик.

Автотест фиксов тоже в Private Beta для Deployment. В SaaS v2 доступен на LangSmith Plus и Enterprise; для self-hosted обещают BYOK — свой ключ модели при данных в VPC. По IssueBench и Terminal-Bench из августа детект issue стал более чем в 2 раза точнее, а фиксы — на 25% эффективнее.

Источник: New in LangSmith Engine: red teaming and automated testing.