ttok 1.0: дефолтный токенизатор переключили с GPT-4 на GPT-5

Редакция 9 октября 2026 г.

Терминал с пайпом файла в утилиту подсчёта токенов перед отправкой текста в модель OpenAI.

Утилита Simon Willison ttok вышла в 1.0 — сменили дефолтный токенизатор с GPT-4 на семейство GPT-5 и GPT-6. После uv tool upgrade ttok автор прогнал файл через пайп и заметил, что счётчик всё ещё цепляется к четвёрке, хотя для текущих моделей это уже не тот ориентир.

У OpenAI нет официального подтверждения, что у GPT-6 тот же токенизатор, что у пятёрки — на GitHub открытый спор. Willison ссылается на коммит William Liu: на корпусе из 31 фикстуры семь моделей (GPT-5.5, 5.6 Sol/Terra/Luna и 6 Astra/Sol/Luna) показывают 44 794 токена и совпадают попарно, а для GPT-6 входной счёт на этом наборе не меняется.

ttok заточена под пайп из файла и обрезку текста по лимиту контекста перед вызовом API. Версия 0.4 уже была в обиходе; в 1.0 меняется только то, какая модель считается «по умолчанию».

Источник: ttok 1.0.