JumpStart: leaderboard open-weight LLM в SageMaker Studio

В SageMaker Studio рядом с Categories и All models появился вид Leaderboard: AWS сводит 70+ open-weight LLM от Meta, Google, Qwen, IBM и Arcee в одну таблицу, где качество, скорость и цена посчитаны одной методикой — на тех же JumpStart-конфигурациях, которые потом можно развернуть.
Раньше выбор часто упирался в model card за model card и в бенчмарки с чужих сайтов под разными настройками. Теперь BIG-Bench Hard, GPQA Diamond и MMLU-Pro гоняются через один evaluation harness с одинаковыми параметрами; рядом AWS меряет деплой стандартизированной нагрузкой на endpoint — время до первого токена, пропускную способность и оценочную стоимость часа инстанса по on-demand.
Как устроена таблица
Над leaderboard два меню. View benchmarks for your use case (по умолчанию Max Context) переключает только performance и cost, баллы бенчмарков не меняются. Optimized for выбирает конфигурацию деплоя: Balanced — минимальная оценочная цена за токен, Latency optimized — самый быстрый первый токен для чата, Throughput optimized — максимум токенов в секунду, в том числе с speculative decoding.
Поиск, фильтры по лицензии и провайдеру, синяя heatmap по колонкам и настройка видимых метрик — те же, что на остальных страницах JumpStart. После шортлиста важно деплоить в той же паре профиль + цель оптимизации: каждая цифра привязана к конкретной конфигурации.
В примере AWS для внутреннего help desk после фильтра по лицензии и Latency optimized сравнивают три размера. Model B (medium) набирает BBH 94.2 и MMLU-Pro 84.9 — почти как Model A (large) с 95.9 и 87.2, зато TTFT 0.98 с против 2.33 с и $5.75/час против $37.66. Для сценария, где важны рассуждение и быстрый ответ, средний размер выглядит разумнее стартовой точкой, чем «просто взять самую большую».
Leaderboard заточен под шортлист, не под финальный вердикт: сначала жёсткие требования, потом ранжирование; близкие баллы лучше считать ничьей; у части моделей оценок ещё нет — пустая ячейка не означает слабую модель. Свои промпты и данные всё равно решают, идти ли в прод.
Источник: Introducing the Amazon SageMaker JumpStart Model Leaderboard.