Почему API модели — не продукт: harness, контекст и eval

Harrison Chase в LangChain разводит «универсальный API» и продукт, который на нём живёт: у coding-агента та же модель, что у соседа, а отличие — воркфлоу, ретривал, тулы, eval и память о том, как команда пишет и ревьюит. Тезис из серии Harrison's In the Loop, дата публикации — 25 июля 2026 года.

Пример со страховщиком: модель поймёт deductible, но не правила эскалации, сигналы мошенничества и пороги риска конкретной компании. Для vertical AI, в том числе агента под код, базовый чат — старт, а не продукт.

Три слоя агента

• Модель — опциональность провайдеров, open-weight там, где нужны переносимость и контроль, быстрый переход на новую SOTA без привязки к одному вендору.
• Harness — оркестрация между ответом модели и действием: маршрутизация, вызов инструментов, шаги воркфлоу, skills; здесь живёт поведение «под ваш бизнес».
• Контекст — документы, политики, тулы, навыки, предпочтения и организационная память; без владения контекстом вы не накапливаете свой слой знаний.

Стоимость, качество и границы

Когда агент делает реальную работу, его ведут как операционку. Стоимость — с лимитами на пользователя, команду или агента; в тексте вспоминают осторожный пример Uber, где быстрый рост adoption раздул счета. Качество не «на глаз»: смена модели, промпта, тула или воркфлоу проходит через eval, иначе регрессии не видно. Плюс границы доступа к данным и тулам, апрувы, эскалации и полный trace — что агент видел, что вызвал и почему.

Петля, которая копится

Заявленная цель — чтобы 100-е взаимодействие было полезнее первого. Петля начинается с traces (контекст, вызовы тулов, затыки) и feedback (принято, отклонено, рискованно, неэффективно). На этой основе меняют промпты, harness и инструменты, а на каждое изменение вешают eval, чтобы следующие правки не ломали старое. Уроки должны быть вашими и переносимыми между моделями и системами.

В конце материала — чеклист из девяти вопросов: смена провайдера завтра, контроль того, что попадает в модель на каждом шаге, spend по пользователю, полный trace на «почему агент так сделал», eval перед сменой модели, рост опыта к сотому запуску. LangSmith в том же посте упоминается как платформа для отладки решений агента и прогона eval.

Источник: Own Your Intelligence: The Key to Lasting AI Advantage.