Перейти к содержимому
Экосистема AI Vibe

Новости

Очередь разметки LangSmith: нить диалога вместо одного span

Редакция 4 ноября 2026 г.

Ревьюер просматривает мультитurn-диалог агента с tool calls в очереди разметки LangSmith вместо одного изолированного шага.

Когда агент идёт несколько ходов подряд и тянет инструменты, финальный ответ может выглядеть убедительно — а сбой случился раньше, в середине сессии. LangChain описала, как в LangSmith очередь разметки переводит review с одного span на thread: ревьюер видит весь разговор, как его видел пользователь.

Agent trace — запись одной попытки: сообщения, ответы модели, вызовы инструментов и промежуточные шаги. Инженер или онлайн-evaluator помечает trace, когда что-то смущает, но флаг не подсказывает, что править. Помеченный прогон попадает в annotation queue: человек ставит оценку (pass/fail, шкала 1–5, «правильный tool») и коротко объясняет решение — это сырьё для следующей итерации агента и eval.

Три принципа с человеком в цикле

Gowri Harish и Sineha Manivannan (3 ноября 2026) сводят практику к трём опорам:

  • Эксперт задаёт «хорошо». Доменный ревьюер называет не только pass/fail, но и причину — и иногда ловит дыру в rubric eval, а не в ответе агента.
  • Суждение держится на контексте. Один шаг без истории обманывает: для длинных агентов единицей review должна быть беседа целиком.
  • Разметка → данные. Человеческие метки калибруют LLM judge, обновляют online evaluators и попадают в golden dataset для офлайн-прогонов после смены промпта.

Чтобы не разбирать дерево run вручную, рядом с thread показывают trajectory — сообщения и tool calls по порядку, без дублирующей вложенности. Судят по-прежнему разговор; trajectory только облегчает чтение при аннотации.

Fetch Rewards

Fetch Rewards через те же очереди сверяет AI Rewards Assistant с реальностью: ревьюеры смотрят метаданные trace — какие tools вызывались и совпадает ли ответ с данными оффера. Проверяют и UI: карточка 20 oz Coca-Cola не должна показывать двухлитровую бутылку; предложения должны быть доступны конкретному пользователю. Спорные случаи фиксируют в комментарии к разметке — что проверили, что осталось неясным и почему такой score; инженеры под это подстраивают логику автоматических судей.

Источник: Why human insight is a strategic advantage for building better agents.