Mercor уложила суточные AI-батчи в пару часов — шлюз, ключи и Passport

Срочные batch-оценки моделей у Mercor упирались в rate limit провайдеров: прогоны тянулись больше 12 часов и съедали больше половины 24-часового дедлайна клиента. Vercel AI Gateway с переключением на другого провайдера при лимите сократил типичный batch до 2–3 часов — за первые 10 дней через шлюз прошло 18 миллионов запросов и 63 миллиарда токенов без упора в потолки.
Компания соединяет сотни тысяч экспертов с AI-лабораториями: разметка, оценка моделей, автоматический grading. Спрос приходит всплесками на дни, а на отдельный job часто остаётся сутки — retry-очередь у вендора тогда бьёт по сроку клиента, а не только по скорости.
Эксперименты под потолком токенов
Раньше зацикленный скрипт мог сжечь весь бюджет, а траты по команде и проекту почти не различали. Сотни инженеров ходят в open models через AI Gateway с персональными ключами: срок действия, лимит токенов и потолок расходов. Security выдаёт «песочницу» на эксперимент с датой окончания; по usage records видно, какой user, project и workload забирает capacity — без отдельных credentials на каждого провайдера.
Приложения без очереди в core
Число проектов на Vercel выросло с меньше чем дюжины до примерно 2000 — их собирают сотни людей вне классического engineering, часто как временные среды под engagement. Интерфейсы с задачами и прогрессом для experts business-команды поднимают сами, не выстраиваясь в очередь на доработку core platform.
- Passport — общий слой входа в деплои через корпоративный identity provider, без отдельного auth на каждый мини-продукт.
- Audiences — внутренний продукт identity-команды: выбрали экспертов → IdP-группа, Vercel connection и конфиг Passport; доступ выдают за секунды — от десятков до десятков тысяч человек, offboarding зеркалит процесс через группу.
Агенты с узким контуром
Параллельно Mercor крутит agents для marketplace, HR и internal systems — не «всё, что может человек», а permissions под задачу agent. Для agents на open models через Gateway те же expiration и spend caps, отдельно от того, к каким системам и action agent допущен.
Источник: How Mercor ships internal apps and billions of production tokens on one platform.