FLUX.3 Klein: текст, референсы и layout в одном чекпоинте Diffusers

FLUX.3 Image Klein от Black Forest Labs с первого дня запускается в Diffusers через ModularPipeline — без отдельного адаптера под библиотеку. Текстовый энкодер Qwen3-VL, два открытых чекпоинта в коллекции на Hugging Face: distilled black-forest-labs/flux-3-image-klein для быстрых прогонов и базовый flux-3-image-klein-base под дообучение.

Distilled по умолчанию рисует 1024×1024 за 16 шагов без classifier-free guidance; на H100 это около двух секунд на кадр. Базовая модель — 50 шагов с guidance и тот вариант, который берут в LoRA. Пайплайн модульный: отдельные блоки можно вынимать и подменять, не пересобирая весь стек.

Три режима в одной модели

• Текст в картинку — полное описание сцены: объект, свет, композиция, стиль.
• Картинка в картинку — один или несколько референсов; в промпте ссылки <ref_image_0>, <ref_image_1> в том же порядке, что аргумент image.
• Раскладка по рамкам — после подписи JSON-список регионов с id, bbox и desc; координаты [y_min, x_min, y_max, x_max] на шкале 0–1000, ось y первой. Для правок по референсу — пары src_bbox и tgt_bbox, совпадающие рамки оставляют объект на месте.

Память и квантизация

Если bf16 не влезает (на H100 пик около 20,72 GiB после инференса), трансформер можно подтянуть через from_single_file в NVFP4 или FP8 — на RTX 6000 с nvfp4 пик после загрузки около 13,4 GiB. Быстрые ядра для fp8r и nvfp4 завязаны на свежие GPU; на остальных веса обычно разжимают по шагам — память падает, ускорения может не быть.

LoRA и старт

В репозитории diffusers лежат DreamBooth LoRA для текста и для image-to-image, в том числе скрипт train_dreambooth_lora_flux3_klein.py. В гайде пример стиля таро с датасета multimodalart: триггер trtcrd, rank 16, 1500 шагов обучения. Для экономии VRAM — флаги --gradient_checkpointing, --cache_latents, --use_8bit_adam.

Старт: pip install -U diffusers transformers, загрузка distilled-чекпоинта и вызов pipe(prompt=..., output="images"). Поиграть без локальной установки можно в Space на Hugging Face.

Источник: Welcome FLUX.3 Image Klein in Diffusers.