Очередь разметки LangSmith: нить диалога вместо одного span

Когда агент идёт несколько ходов подряд и тянет инструменты, финальный ответ может выглядеть убедительно — а сбой случился раньше, в середине сессии. LangChain описала, как в LangSmith очередь разметки переводит review с одного span на thread: ревьюер видит весь разговор, как его видел пользователь.
Agent trace — запись одной попытки: сообщения, ответы модели, вызовы инструментов и промежуточные шаги. Инженер или онлайн-evaluator помечает trace, когда что-то смущает, но флаг не подсказывает, что править. Помеченный прогон попадает в annotation queue: человек ставит оценку (pass/fail, шкала 1–5, «правильный tool») и коротко объясняет решение — это сырьё для следующей итерации агента и eval.
Три принципа с человеком в цикле
Gowri Harish и Sineha Manivannan (3 ноября 2026) сводят практику к трём опорам:
- Эксперт задаёт «хорошо». Доменный ревьюер называет не только pass/fail, но и причину — и иногда ловит дыру в rubric eval, а не в ответе агента.
- Суждение держится на контексте. Один шаг без истории обманывает: для длинных агентов единицей review должна быть беседа целиком.
- Разметка → данные. Человеческие метки калибруют LLM judge, обновляют online evaluators и попадают в golden dataset для офлайн-прогонов после смены промпта.
Чтобы не разбирать дерево run вручную, рядом с thread показывают trajectory — сообщения и tool calls по порядку, без дублирующей вложенности. Судят по-прежнему разговор; trajectory только облегчает чтение при аннотации.
Fetch Rewards
Fetch Rewards через те же очереди сверяет AI Rewards Assistant с реальностью: ревьюеры смотрят метаданные trace — какие tools вызывались и совпадает ли ответ с данными оффера. Проверяют и UI: карточка 20 oz Coca-Cola не должна показывать двухлитровую бутылку; предложения должны быть доступны конкретному пользователю. Спорные случаи фиксируют в комментарии к разметке — что проверили, что осталось неясным и почему такой score; инженеры под это подстраивают логику автоматических судей.
Источник: Why human insight is a strategic advantage for building better agents.