Уніфікована пам’ять (Apple Silicon)

Коротко: У чипах Apple процесор і графічний блок використовують одну спільну пам’ять. Завдяки цьому GPU може використовувати більшу частину всієї пам’яті.

Докладніше: Mac зі 128 ГБ пам’яті може завантажувати моделі, немислимі для окремих карт. Пропускна здатність становить від 100 до понад 800 ГБ/с залежно від чипа, тобто вища, ніж у звичайної пам’яті ПК, але нижча, ніж у топових відеокарт.

Наш контекст: Калькулятор швидкості ШІ містить багато чипів Apple (від M1 до M4, Pro, Max, Ultra) із зазначенням пропускної здатності та вибірного обсягу пам’яті.

Подробиці

• Скільки можна використовувати: за замовчуванням близько двох третин — трьох чвертей пам’яті для GPU, налаштовується.
• Програми: MLX, llama.cpp з Metal та Ollama працюють добре.
• Обмеження: обробка промпта (prefill) повільніша, ніж на великих картах NVIDIA, бо обчислювальна потужність нижча.
• Альтернатива від AMD: системи «Strix Halo» теж використовують спільну пам’ять.

Див. також: Пропускна здатність пам’яті, VRAM і розмір моделі