smithtune: из траекторий LangSmith в свою модель одной CLI

CLI smithtune ведёт от траекторий агента в LangSmith до развёрнутой модели в одном конвейере , LangChain запустила LangSmith Fine-Tuning в Public Beta 24 сентября 2026. Инструмент готовит датасет, отправляет supervised fine-tuning на Fireworks managed SFT или Baseten Loops и заливает результаты оценки обратно в LangSmith. Команды можно выполнять сами или отдать coding-агенту; в репозитории на GitHub лежит skill под тот же сценарий. Траектория , упорядоченная цепочка сообщений, вызовов инструментов и их результатов. LangSmith собирает её из trace или thread, приводит форматы к одному виду и фиксирует, что модель видела на каждом шаге , для длинных агентов с отложенной подгрузкой tools это критично: наивный экспорт последних сообщений теряет контекст. Этапы smithtune Pull Dataset , выгрузка траекторий из tracing-проекта LangSmith в локальную папку, с фильтрами и отсечением по длине последовательности. Label Traces , rubric «хороших» трейсов, council агентов для review и отбор кандидатов под SFT. Store , «золотые» траектории как аудируемый артефакт в датасете LangSmith, сплиты train/val/test. Train , job на Fireworks или Baseten Loops (LoRA), checkpoint с минимальным validation loss без своих GPU. Evaluate , replay: база против fine-tuned, judge против записанных действий, ссылка на comparison в LangSmith. Deploy , выкладка модели в приложение или новый круг кuration и обучения. Цифры с внутренних агентов LangChain На Engine (поиск сбоев в trace) Kimi K3 после SFT набрал 96.0 на IssueBench , базовый Kimi K3 давал 90.0, GPT-5.6 Sol , 87.0. Harness engineering перестал давать прирост, и команда пошла в дообучение на отобранных траекториях. На OpenSWE Review с Qwen-3.8-27B F1 вырос с 48.9% до 53.7% при recall 40.0%: precision , с 62.9% до 81.5%. На один review ушло на 29.8% меньше вызовов модели и на 29.4% меньше tool requests (55.9→39.2 и 65.8→46.5). Слабый отбор данных раньше снижал F1 после SFT , помогла доработка pipeline с review каждого trace. Старт: аккаунт LangSmith с трейсами агента, API-ключ Fireworks или Baseten и CLI smithtune на GitHub. Источник: Introducing LangSmith Fine-Tuning .