Перейти к содержимому
Экосистема AI Vibe

Разборы

Бесплатный Gemma 4 31B на AMD Token Lab: три входа (чат, терминал и ADK-агент)

Редакция 13 ноября 2026 г.

Бесплатный Gemma 4 31B на AMD Token Lab: три входа (чат, терминал и ADK-агент)

Один endpoint Token Lab на Gemma 4 31B открывают три пути: локальная страница чата, терминальный клиент или компактный агент на Google ADK. От выбора зависит, где хранится API-ключ и переживёт ли агент очередь на общем inference. Для соло-разработчика без платного облачного ключа это развилка архитектуры под ИИ-инструменты, а не косметика интерфейса. Цепочку от Join the Program до make agent-web собираем в гайде.

Token Lab: OpenAI-совместимый API, квота и ключ

AMD Token Lab даёт удалённый inference с базовым URL https://api.tokenlab.amd.com/v1, совместимым с привычными SDK и обёртками в духе OpenAI. В программе AMD AI Developer Program Token Lab выделен среди cloud credits как единственная опция без запроса кредитов: карта не нужна; на новый ключ на 13 ноября 2026 даётся 10 points на 30 дней (однократное продление +15 дней), лимит 20 запросов в минуту на ключ.

Для агентной разработки важен контракт: те же chat/completions, те же поля для tools и streaming. Gemma 4 31B в каталоге идёт как Gemma-4-31B-IT с контекстом 262144 токена, text + image; тарификация в points: 0,035 за миллион входных и 0,07 за миллион выходных токенов. На написание всего how-to ушло 23 запроса и 0,000335 из 10 points (порядок величины для прототипа, не для продакшн-нагрузки). Backend в model card указан как SGLang; замеры скорости привязаны к сети и совместному endpoint, не к выделенной GPU на вашей стороне.

Путь к ключу начинается на developer.amd.com с Join the Program. Новый аккаунт: форма AMD AI Developer Program, верификация email, затем AI Academy; уже зарегистрированным достаточно логина и той же join form. Ключ выдаётся на notebooks.amd.com/tokenlab после входа AMD AI Developer Program (Global). На дашборде видны points, запросы за 30 дней, оставшиеся дни, rate limit и кнопки regenerate/revoke (regenerate сохраняет points и период). В репозитории шаблон окружения задаёт TOKENLAB_BASE_URL и ключ в локальном .env с umask 077: секрет остаётся на машине до выбора UI.

Три входа: прокси-чат, терминал и ADK с tools

Локальный чат (chat_ui.py): сервер на 127.0.0.1:8766 проксирует /v1/* на Token Lab и подставляет ключ на исходящих запросах. Браузер ходит только на localhost; ключ в клиент не попадает. Запуск через make ui, модель по умолчанию Gemma-4-31B-IT. UI наследует идеи с TPU/vLLM-рига, но endpoint подменён на Token Lab: max tokens, temperature, top-p, переключатель thinking, system prompt, метрики ответа (first-token time, decode rate, tokens, points), вложения картинок через data URL. Thinking включается через chat_template_kwargs.enable_thinking. В одной сессии 13 ноября: first token 4,96 с, decode 9,5 tok/s, списание 0,00000942 points (единичный замер, не обещание SLA). Для соло-workflow с ИИ получается «мини-шлюз» к удалённой модели: промпты и картинки без секрета во фронтенде.

Терминальный путь: ask.py и бинарь ask-tokenlab (make bin → ~/bin/ask-tokenlab). Режимы: один вопрос, pipe (stdin как входной текст, argv как инструкция), интерактив с памятью. Флаги -T для thinking, -I для изображения, -r для сырого JSON, ! сбрасывает историю. Тот же endpoint удобен для быстрых проверок промптов и shell-автоматизации без браузера и без отдельного агентного рантайма.

ADK-агент: каталог tokenlab_agent/ на google-adk и litellm (в зависимостях how-to: google-adk 2.13.0, litellm 1.106.4). Модель подключается как LiteLlm с model="openai/Gemma-4-31B-IT", api_base="https://api.tokenlab.amd.com/v1", повышенными num_retries и timeout под нестабильную сеть. Два tool-а: list_tokenlab_models и count_and_range (фильтр и точный count в коде). Model card для Gemma поддерживает tools, tool_choice, response_format. Запуск: make agent (adk run) или make agent-web на порту 8767. На одном turn: вызов tool 8,1 с, ответ на counting 12,3 с; listing моделей в multi-tool сценарии порядка 25–49 с (ощущения агента на общем endpoint, без претензии на бенчмарк платформы). Агент ходит в тот же Token Lab; цена ошибки здесь выше: лишние проходы и 429 на перегруженном endpoint.

Очередь, 429 и паттерн для соло-стека

Token Lab работает как общий удалённый inference для всех пользователей. На Gemma 4 31B лимит 128 одновременных запросов на всех пользователей (HTTP 429 с Retry-After: 1); отдельно 429 при превышении 20 req/min на ключ; 502/503/504 при рестарте backend. За день на ноутбуке decode колебался 2,0–9,5 tok/s, first token 1,2–5,0 с; с thinking на длинном ответе total до 199,8 с (390 completion tokens, 291 reasoning). Скорость зависит от сети и нагрузки других пользователей.

Клиентский tokenlab.py ретраит до начала stream; у агента LiteLlm с num_retries. Mid-stream retry невозможен: stream должен завершиться data: [DONE]. Практичный вывод для соло-стека: проектируйте агента с детерминированными tools и терпением к 429. Локальный vLLM с гарантированной пропускной способностью здесь плохая модель ожиданий.

Ситуация Сигнал Что имеет смысл в агенте
Перегруз Gemma на платформе 429, shared limit 128 backoff, короткие tools, не параллелить десятки вызовов
Собственный rate limit ключа 429, >20 req/min батчинг, кэш списка моделей
Длинный reasoning рост latency, thinking on выключать thinking для рутинных tools

Цепочка из источника: бесплатный OpenAI-совместимый remote inference → ключ в .env и localhost-прокси или CLI → опционально ADK с tools на той же модели. Ни Cursor, ни MCP в первоисточнике не фигурируют; перенос на привычную IDE это ваш слой rules и скриптов поверх того же API. Код в tokenlab-sglang-amd-31b: make ui, make bin, make agent-web. Нужен только чат с изоляцией ключа: прокси; нужен tool loop на Gemma без смены SDK-контракта: ADK + LiteLLM; нужна автоматизация из shell: ask-tokenlab. Три входа, один endpoint, разная цена ошибки при 429.

Источники

  • George Edwards (gde), «Can't Beat Free: Gemma 4 31B on AMD Token Lab, with a Local Chat Page and an ADK Agent», Dev.to, опубликовано 2026-11-13 — Dev.to (проверено UTC: 2026-11-13T18:05:00Z)
  • Репозиторий: https://github.com/xbill9/gemma4-dev/tree/main/tokenlab-sglang-amd-31b (проверено UTC: 2026-11-13T18:05:00Z)
  • AMD AI Developer Program: https://developer.amd.com
  • Ключ Token Lab: https://notebooks.amd.com/tokenlab