Granite Switch 4.1: чат, решения и речь без лишних GPU

15 октября 2026 IBM Granite выпустила Switch 4.1: версии 8B и 30B на одном хостед-эндпоинте переключаются между чатом, классификацией по флагам и распознаванием речи. В композит входят Decision aLoRA для общих решений (в духе v1/systemone), Guardian aLoRA для safety-задач и Granite-Speech-5.0-Turbo-CTC — самая быстрая ASR-модель в рейтинге OpenASR Leaderboard.

Три режима и базовая Granite занимают примерно тот же объём VRAM на GPU, что и одна базовая модель без адаптеров — больше возможностей без лишних видеокарт. Адаптеры построены как cache-efficient Activated LoRAs: KV-кэш после ответа в чате переиспользуют для decision-запросов. Ускорения low-rank адаптеров в vLLM и co-located ASR-энкодер позволяют быстро переключаться между чатом, решениями и голосом.

Что тянет 8B на одном эндпоинте

• транскрипция аудио и саммари текста;
• скрининг вредоносного контента через Guardian;
• более 15 generic-флагов в реальном времени.

Guardian в среднем обходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash на safety-related decision tasks. В гонке 5-шагового RAG-workflow Granite-Switch-4.1-30B — замороженная база Granite и четыре специализированных aLoRA — завершил сценарий быстрее Jev-27B на Qwen с одним generic decision LoRA.

Свой Switch из библиотеки

Готовые 8B и 30B выпущены «с батарейками», но набор можно собрать из Granite Libraries: узкие decision-адаптеры рядом с generalist почти не удорожают инференс за счёт общего KV-кэша. В демо кастомный Switch на 3B для Doom выдаёт 60–100 decisions в секунду против 10 у Jev и параллельно комментирует игру и отвечает на вопросы. Планируют Adapter SDK для обучения адаптеров в Mellea и туториалы по Switch.

Источник: Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint.