Baseten Mammoth-1 и Elephant-1: неделя бесплатного роутинга в AI Gateway

На неделю в Vercel AI Gateway можно вызывать decision-модели Baseten без оплаты: классификация, маршрутизация и скоринг по вашим критериям вместо полного прогона через чат с большой моделью. Бесплатный доступ действует до 27 октября — Vercel открыл Mammoth-1 и Elephant-1 в общем каталоге Gateway.

Mammoth-1 — 27B и лидер Jev Decision Index; Elephant-1 — 9B, делит первое место в Artificial Analysis Decision Index. У обеих окно 16k токенов, в ответе приходят варианты, вероятности и числовые оценки.

Вызовы decision-моделей попадают в те же логи AI Gateway и учитываются в бюджетах наравне с остальными запросами к моделям — единый API для доступа и учёта расходов.

Несколько проверок на один текст

К одному входному тексту можно задать несколько вопросов без повторного прогона:

• Choice — выбрать команду поддержки или категорию
• Boolean — да/нет, например запрос на возврат
• Score — оценка срочности или соответствия критерию

Порог вероятности для автоматического действия или эскалации на ручную проверку задаёт приложение. Имена моделей в API: baseten/mammoth-1 и baseten/elephant-1; типы вопросов и детали — в документации decision models на стороне Vercel.

Источник: Baseten's Mammoth-1 and Elephant-1 now available on AI Gateway for free.