Unified Memory (Apple Silicon)

Kurz: Bei Apple-Chips teilen sich Prozessor und Grafikeinheit einen gemeinsamen Speicher. Dadurch kann die GPU einen großen Teil des gesamten Arbeitsspeichers nutzen.

Genauer: Ein Mac mit 128 GB Speicher kann Modelle laden, die auf Einzelkarten undenkbar wären. Die Bandbreite liegt je nach Chip bei 100 bis über 800 GB/s, ist also schneller als normaler PC-Speicher, aber langsamer als High-End-Grafikkarten.

Kontext bei uns: Der KI-Tempo-Rechner enthält viele Apple-Chips (M1 bis M4, Pro, Max, Ultra) mit Bandbreite und wählbarem Speicher.

Im Detail

• Wie viel nutzbar: Standardmäßig etwa zwei Drittel bis drei Viertel des Speichers für die GPU, einstellbar.
• Software: MLX, llama.cpp mit Metal und Ollama laufen gut.
• Grenzen: Prompt-Verarbeitung (Prefill) ist langsamer als bei großen NVIDIA-Karten, weil die Rechenleistung geringer ist.
• Alternative von AMD: „Strix Halo”-Systeme nutzen ebenfalls gemeinsamen Speicher.

Siehe auch: Speicherbandbreite, VRAM und Modellgröße