MLX ускорил Ollama в 2 раза на Mac — почему MoE-модели выиграли больше всех

Ollama 0.19 переходит с llama.cpp на Apple MLX и получает двукратный прирост на Mixture of Experts моделях. Обычные плотные архитектуры ускоряются на 40-60%, а MoE вроде Qwen3.5-35B-A3B — в 2 раза. Причина — MLX заточен под унифицированную память Apple Silicon и эффективно маршрутизирует экспертов без копирования данных между CPU и GPU.

Почему MLX быстрее llama.cpp на Apple Silicon

Четыре технических преимущества:

Унифицированная память без копирований — CPU и GPU на M-чипах делят физическую память, MLX работает с ней напрямую. llama.cpp через Metal Performance Shaders тратит время на передачу данных
Оптимизированные Metal compute-шейдеры — написаны под конкретные GPU-ядра Apple, не через универсальные MPS
Маршрутизация для MoE — Mixture of Experts модели активируют только часть параметров на каждом токене. MLX эффективно переключает экспертов, llama.cpp обрабатывает их последовательно
KV-кэш между сессиями — переиспользование общих префиксов промптов снижает потребление памяти на 20-30%

На M5/M5 Pro/M5 Max prefill достигает 1851 токена/с, decode — 134 токена/с при квантовании int4. Для сравнения: llama.cpp на тех же чипах выдавал 900-1000 токенов/с на prefill.

Цифры: где максимальный выигрыш

Независимые бенчмарки на Mac Studio M3 Ultra (LM Studio с MLX против Ollama 0.18 с llama.cpp):

Модель	llama.cpp (токен/с)	MLX (токен/с)	Прирост
Gemma 3 1B	149	237	+59%
Gemma 3 4B	92	134	+46%
Gemma 3 27B	24	33	+38%
Qwen3.5-35B-A3B (MoE)	~65	~130	+100%

Закономерность: чем сложнее маршрутизация экспертов, тем больше выигрыш от MLX. Плотные модели (Gemma) получают 38-59%, MoE с 35 млрд параметров и 3 млрд активных — в 2 раза.

Что работает в превью 0.19 и что нет

Работает:

Одна модель — Qwen3.5-35B-A3B в формате квантования NVFP4 (4-битный формат от NVIDIA с паритетом качества облачных провайдеров)
Автоматическое переключение на MLX при запуске поддерживаемых моделей
Новая команда ollama launch с интеграцией в инструменты (Claude, OpenClaw)
Флаг --verbose показывает пиковое потребление памяти MLX-движка

Требования:

Apple Silicon (M1 и новее)
Минимум 32 ГБ унифицированной памяти
macOS — MLX не работает на Intel Mac, Windows, Linux

Ограничения:

Импорт кастомных файнтюнов пока недоступен — планируется в следующих версиях
Существующие модели на llama.cpp продолжат работать как раньше, миграция не требуется
Для Intel Mac и других платформ Ollama использует llama.cpp без изменений

Почему NVFP4 важнее чем кажется

NVFP4 — формат квантования от NVIDIA, который сжимает модель до 4 бит без потери качества относительно облачных провайдеров. Это значит:

Модель на 35 млрд параметров занимает ~18 ГБ вместо ~70 ГБ в fp16, но выдаёт ответы того же уровня что GPT-4 или Claude через API.

Раньше локальные модели проигрывали облаку в качестве при агрессивном квантовании (int4, int8). NVFP4 закрывает этот разрыв — теперь 32 ГБ на Mac достаточно для production-задач которые раньше требовали облачных LLM.

Что делать ML-командам на macOS

Обновитесь сегодня:

brew upgrade ollama

Прирост производительности получите автоматически без изменений в коде.

Если у вас Mac с 32+ ГБ памяти:

Протестируйте Qwen3.5-35B-A3B для кодогенерации — это MoE с максимальным ускорением
Сравните с вашими текущими моделями на llama.cpp (флаг --verbose покажет разницу в памяти и скорости)
Оцените возможность замены облачных API для задач где латентность критична (code completion, чат-боты)

Планируйте архитектуру:

Для новых пайплайнов — смотрите на MoE-модели. Переход с плотных архитектур даст дополнительный 2x на Apple Silicon
Для кастомных файнтюнов — готовьтесь к упрощённому импорту в следующих релизах Ollama, следите за поддержкой новых архитектур
Для production с Intel Mac/Linux — сохраняйте llama.cpp-версии моделей. MLX не заменяет его полностью, а дополняет на Apple Silicon

Memory bandwidth имеет значение: MoE-модели активно используют общую память для маршрутизации экспертов. На M5 Max (400 ГБ/с) вы получите больше чем на M5 Pro (273 ГБ/с) при той же конфигурации RAM.

Когда ждать полную поддержку

Ollama обещает расширить список MLX-моделей в ближайшие месяцы. Ориентиры:

Q2 2026 — поддержка популярных MoE-моделей (Mixtral, DBRX, Grok)
Q3 2026 — импорт кастомных файнтюнов в формате MLX
Q4 2026 — полный паритет функций с llama.cpp-бэкендом

До тех пор llama.cpp остаётся основным бэкендом для всех моделей кроме явно поддерживаемых MLX.

Источник: Tproger — Ollama перешёл на Apple MLX

MLX ускорил Ollama в 2 раза на Mac — почему MoE-модели выиграли больше всех

Похожие статьи

Поделиться в соц. сетях

Комментарии