Tokenizers v1: GPU больше не ждёт CPU — те же id, encode до 30× быстрее

Модели и сервинг ускорились , и чаще простаивает не GPU, а CPU, который не успевает нарезать текст в id. Hugging Face выпустила предрелиз tokenizers v1: на Apple M4 Max в одном потоке encode в их бенчмарках быстрее v0.23 от 3 до 30 раз, при этом номера токенов совпадают с уже выкатанной v0.23. Release candidate лежит на crates.io , те же вызовы, словарь и merge ranks, меняется только сборка. Масштабирование меряли через encode_batch : на восьми воркерах выходит около 76% от линейного роста. Сравнение десяти семейств моделей гоняют из репозитория tokbench; нижняя граница , t5-base, верхняя , gpt2. Откуда прирост Пайплайн тот же: нормализация, pre-tokenization, модель (BPE, WordPiece или Unigram), post-processing. Выигрыш в основном на модельном этапе , regex на каждый encode заменили на SIMD-splitter bitcannon, повторяющиеся слова кэшируются thread-local, merge loop работает в буфере вызывающего без аллокаций в цикле, а общий tokenizer кодирует из нескольких потоков без очереди на один lock. Как поставить RC ставится как обычно: cargo add tokenizers --pre . Нужен только encode без обучения , отключите train и C++-зависимость: cargo add tokenizers --pre --no-default-features --features http . Python-обёртки оборачивают тот же Rust-код, но добавляют накладные расходы на каждый вызов , цифры в посте их не включают. IBM, NVIDIA и команда ExecuTorch помогали с патчами и тестами на разном железе. До 1.0.0 перенесут больше семейств моделей на новый merge loop и протянут изменения в transformers и остальную экосистему. Источник: tokenizers v1: encode, decode and scaling, measured .