Как оптимально развернуть локальный AI-инференс (MLX, Ollama) и агентский стек под Mac 128 GB?
Коллеги, приветствую!
Проектирую модульную локально-облачную AI-инфраструктуру на MacBook Pro (M5 Max, 128 GB Unified Memory).
Главная цель — offline-first: при недоступности внешних сервисов система должна автономно работать с локальными LLM, базой знаний (RAG по документам/видео) и агентами. Хочу посоветоваться с теми, кто уже настраивал подобный сетап на Apple Silicon: Бэкенд инференса: Что стабильнее и быстрее показывает себя в роли постоянного фонового сервиса для агентов разработки — чистая Ollama или нативные MLX-серверы (oMLX, MTPLX) с SSD KV-кэшированием? Какие кванты оптимальнее под 128 GB памяти? Агентский слой: Планирую связку через Zed (ACP) и OpenCode. Как на практике лучше изолировать права агентов (файловые зоны, запрет опасных shell-команд), чтобы они не лезли в системные каталоги? Безопасность секретов: Выносите ли вы ключи API и токены MCP-серверов в нативный macOS Keychain, или достаточно закрытого каталога с правами chmod 600? Поделитесь вашими бенчмарками, конфигами или граблями, на которые наступали.
(Если кто-то уже разворачивал похожий сетап и готов поделиться деталями архитектуры или предметно проконсультировать в индивидуальном порядке — пишите в ЛС, буду рад обсудить условия)
Вы уже приобрели железо или только собираетесь? помните, что помимо скорости генерации (output) есть еще не менее важный (а скорее более) - скорость анализа входных токенов (input) и вот этот параметр инференса у не GPU железа не очень хороший. И падает с ростом размера контекста.
Для маленьких контекстов, той же qwen3.8 27b или тем более qwen 3.6 35b a3b скорость будет отличной (сотни токенов в секунду input и десятки output).
И да, даже 8бит квантизация (на ней деградация качества от исходной не заметна) будет заметно медленней чем 4bit (ниже квантизацию настоятельно не советую, даже 4бита уже заметно хуже работает на длинных рассуждениях, но все еще пользоваться можно).
для mac лучше mlx чем ollama (хотя если честно вместо ollama лучше брать исходный llama.cpp и запускать руками), но требует перекодирование весов в соответствующий формат, и я когда искал тот же qwen3.8 27b там по отзывам еще не работает (а это лучшая маленькая модель для агентских задач).
p.s. предложение 'на рынке' открытых моделей таково, что либо вам требуется меньше 128gb ram либо значительно больше, именно 128gb утилизировать тупо нечем.
Если смотреть конкретику, для qwen3.8 27b маловато будет 32gb (gpu), точнее контекст придется урезать до 128к. Т.е. если выбирать железо то собирать серверную материнку (у китайцев) с 4-мя pci-e x16 слотами, вставлять 3-4 видеокарты по 16gb/24gb vram и получать отличную железку для инфереса младших моделей за адекватные деньги.
Средний
Простой
Простой
