Перейти к содержимому
Экосистема AI Vibe

Новости

JumpStart: leaderboard open-weight LLM в SageMaker Studio

Редакция 19 ноября 2026 г.

Таблица рейтинга LLM в SageMaker Studio с колонками бенчмарков, задержки и почасовой стоимости деплоя.

В SageMaker Studio рядом с Categories и All models появился вид Leaderboard: AWS сводит 70+ open-weight LLM от Meta, Google, Qwen, IBM и Arcee в одну таблицу, где качество, скорость и цена посчитаны одной методикой — на тех же JumpStart-конфигурациях, которые потом можно развернуть.

Раньше выбор часто упирался в model card за model card и в бенчмарки с чужих сайтов под разными настройками. Теперь BIG-Bench Hard, GPQA Diamond и MMLU-Pro гоняются через один evaluation harness с одинаковыми параметрами; рядом AWS меряет деплой стандартизированной нагрузкой на endpoint — время до первого токена, пропускную способность и оценочную стоимость часа инстанса по on-demand.

Как устроена таблица

Над leaderboard два меню. View benchmarks for your use case (по умолчанию Max Context) переключает только performance и cost, баллы бенчмарков не меняются. Optimized for выбирает конфигурацию деплоя: Balanced — минимальная оценочная цена за токен, Latency optimized — самый быстрый первый токен для чата, Throughput optimized — максимум токенов в секунду, в том числе с speculative decoding.

Поиск, фильтры по лицензии и провайдеру, синяя heatmap по колонкам и настройка видимых метрик — те же, что на остальных страницах JumpStart. После шортлиста важно деплоить в той же паре профиль + цель оптимизации: каждая цифра привязана к конкретной конфигурации.

В примере AWS для внутреннего help desk после фильтра по лицензии и Latency optimized сравнивают три размера. Model B (medium) набирает BBH 94.2 и MMLU-Pro 84.9 — почти как Model A (large) с 95.9 и 87.2, зато TTFT 0.98 с против 2.33 с и $5.75/час против $37.66. Для сценария, где важны рассуждение и быстрый ответ, средний размер выглядит разумнее стартовой точкой, чем «просто взять самую большую».

Leaderboard заточен под шортлист, не под финальный вердикт: сначала жёсткие требования, потом ранжирование; близкие баллы лучше считать ничьей; у части моделей оценок ещё нет — пустая ячейка не означает слабую модель. Свои промпты и данные всё равно решают, идти ли в прод.

Источник: Introducing the Amazon SageMaker JumpStart Model Leaderboard.