Унифицированная память (Apple Silicon)

Коротко: В чипах Apple процессор и графический блок используют одну общую память. Благодаря этому GPU может использовать большую часть всей памяти.

Подробнее: Mac со 128 ГБ памяти может загружать модели, немыслимые для отдельных карт. Пропускная способность составляет от 100 до более 800 ГБ/с в зависимости от чипа, то есть выше, чем у обычной памяти ПК, но ниже, чем у топовых видеокарт.

Наш контекст: Калькулятор скорости ИИ включает многие чипы Apple (от M1 до M4, Pro, Max, Ultra) с указанием пропускной способности и выбираемого объёма памяти.

Подробности

• Сколько можно использовать: по умолчанию около двух третей — трёх четвертей памяти для GPU, настраивается.
• Программы: MLX, llama.cpp с Metal и Ollama работают хорошо.
• Ограничения: обработка промпта (prefill) медленнее, чем на больших картах NVIDIA, потому что вычислительная мощность ниже.
• Альтернатива от AMD: системы «Strix Halo» тоже используют общую память.

См. также: Пропускная способность памяти, VRAM и размер модели