Speicherbandbreite

Kurz: Die Speicherbandbreite gibt an, wie viele Gigabyte pro Sekunde zwischen Speicher und Prozessor übertragen werden können.

Genauer: Sie ist der entscheidende Wert für die Geschwindigkeit von Sprachmodellen. Grafikkarten haben hunderte bis tausende GB/s (GDDR6X, HBM), normaler Arbeitsspeicher im PC nur etwa 50 bis 100 GB/s. Apple-Chips mit Unified Memory liegen dazwischen (100 bis 800 GB/s).

Kontext bei uns: Im KI-Tempo-Rechner steht bei jeder Grafikkarte, jedem Prozessor und jedem Apple-Chip die Bandbreite. Sie bestimmt, wie viele Tokens pro Sekunde möglich sind.

Im Detail

• Berechnung: Busbreite in Bit ÷ 8 × Speichertakt-Datenrate. Eine 384-Bit-Karte mit 21 Gbit/s je Pin hat 384 ÷ 8 × 21 = 1.008 GB/s.
• Dual Channel: Zwei RAM-Riegel verdoppeln die Bandbreite gegenüber einem. DDR5-6000 liefert im Dual-Channel etwa 96 GB/s.
• HBM: Gestapelter Speicher in Rechenzentrums-Karten (Terabytes pro Sekunde).
• Ausnutzung: Praktisch erreicht man oft 60 bis 85 % des Maximums.

Siehe auch: Tokens pro Sekunde, VRAM und Modellgröße, Unified Memory (Apple Silicon)