Ollama 0.30: GGUF с Hugging Face и coding-агенты одной командой

Ollama 0.30 расширила поддержку GGUF через llama.cpp — рядом с движком MLX на Apple Silicon. На NVIDIA заявлен прирост до 20% (тест: Gemma 4 26B на RTX 5090, квантование Q4_K_M). Vulkan включён по умолчанию: GPU-ускорение на AMD и Intel без установки библиотек вендора.

Модели и свои веса

Из коробки добавились семейства LFM и Prism, плюс дообученные модели от Unsloth. Свой вес с Hugging Face: скачиваете GGUF-файл или папку, в Modelfile указываете FROM ./my-model.Q4_K_M.gguf, затем ollama create -f Modelfile my-model и ollama run my-model.

Coding-агенты

Модель с вызовом инструментов в Ollama работает так же — проверить можно через ollama show my-model: в выводе ищите capability tools. Запуск одной командой:

• Claude Code — ollama launch claude --model my-model
• Hermes Agent — ollama launch hermes --model my-model
• OpenClaw — ollama launch openclaw --model my-model

Источник: Improved performance and model support with GGUF.