Пеликан на велосипеде: Fable 5.1 на пяти уровнях reasoning

1 сентября Anthropic выпустила Claude Fable 5.1 с пятью уровнями reasoning: от low до max, полностью отключить «размышления» нельзя. Саймон Уиллисон проверил релиз своим промптом «Generate an SVG of a pelican riding a bicycle»: один запрос, пять настроек, разные счета и время ожидания.

Уиллисон давно гоняет этот «пеликан-бенчмарк» внутри семейств моделей. После фикса в llm-anthropic, из-за которого reasoning-трейсы не сохранялись, он прогнал Fable 5.1 на всех пяти уровнях и выложил полные транскрипты.

Цена и время на каждом уровне

• low / medium: около 23 секунд и ~10 центов, почти 2 000 output-токенов; в транскрипте нет видимого reasoning, картинки почти не отличаются.
• high: 29.6 сек, 2 612 токенов, 13.087¢; краткое рассуждение про раскладку SVG, визуально близко к low.
• xhigh: 36 767 токенов, 7 мин 51 с, $1.83; длинный reasoning про крылья, лапы и комический размер пеликана.
• max: 65 927 токенов, 13 мин 54 с, $3.30; лучший результат: синяя шляпа, корзина с рыбой, лапы на педалях, крыло на руле.

На max в трейсе видно, как модель спорит с собой: шлем или гребень, как не перекрыть клюв, править изгиб вилки. По «флёру» Gemini 3.7 Flash всё ещё впереди, но Уиллисон просил SVG, и на max его получил.

Анимация без второго max-прогона

После комментария на Hacker News он взял SVG с уровня max и передал его в Fable 5.1 на high с промптом animate this. Команда llm logs -cx | llm -m claude-fable-5.1 -s 'animate this' обошлась в $1.37 за 6 121 input, 26 201 output. Колёса крутятся в не ту сторону, но анимация из исходной разметки получилась аккуратной.

Источник: Claude Fable 5.1 made me a really nice animated pelican.