Кодинг-модель учат рисовать акварелью: открытый пайплайн TRL и OpenEnv

После вирусного ролика Surya Narreddi Sergio Paniego выложил полный открытый рецепт на Hugging Face: кодинг-модель генерирует JavaScript для p5.brush, headless Chromium рендерит скетч в акварель. Датасет, RL-среда, скрипты обучения и три готовые модели — в одной коллекции на Hub.

Ролик набрал больше 1,5 млн просмотров. Модель не рисует пиксели — она пишет программу примерно на 150 строк, которую можно прочитать и перезапустить. Narreddi тренировал узкий этап на крупных цветах; Paniego взял инженерную часть на TRL и OpenEnv, весь пайплайн крутится на Jobs и Spaces.

Критерий — вкус, не тесты

Награда смешивает четыре компонента: компиляция скетча, длина кода, сравнение с референсами из ручного пула и оценку эстетики через HPSv3. Пул — 178 картин в ярусах love и okay, собранных из генераций четырёх открытых моделей: GLM-5.2, Kimi-K3, Qwen3-Coder-Next и Qwen3.5-122B-A10B.

Из 47 методов p5.brush в промпте разрешены только 10 — линии и штриховку убрали, чтобы сохранить размытые заливки. Обучали Qwen3.5-35B-A3B с LoRA через GRPO; три прогона меняли только веса двух «судей» вкуса. Когда среда и scorer подняты как Spaces, старт сводится к одной команде hf jobs.

Источник: Training a coding model to paint watercolours with TRL and OpenEnv.