Warum GPUs für KI?

Kurz: Neuronale Netze bestehen aus riesigen Matrixmultiplikationen, die sich in tausend gleiche, unabhängige Rechnungen zerlegen lassen. Grafikkarten haben Tausende kleine Rechenkerne und sind dafür gebaut.

Genauer: Eine CPU hat wenige starke Kerne für vielfältige Aufgaben. Eine GPU hat Tausende einfache Kerne, die dieselbe Operation auf vielen Daten gleichzeitig ausführen (SIMD/SIMT).

Im Detail

• Tensor Cores: Spezialeinheiten für Matrixblöcke in niedriger Genauigkeit (FP16, BF16, FP8, FP4). Sie liefern den Großteil der KI-Rechenleistung.
• Speicherbandbreite: Beim Erzeugen von Text muss für jedes Token das ganze Modell aus dem Speicher gelesen werden. Deshalb begrenzt die Bandbreite die Geschwindigkeit, siehe speicherbandbreite.
• HBM: Hochbandbreiten-Speicher direkt am Chip, mehrere TB/s.
• CUDA: NVIDIAs Programmierplattform, größtes Ökosystem. Alternativen: ROCm (AMD), Metal (Apple), SYCL/oneAPI (Intel), Vulkan.
• TPU, NPU: Spezialchips für KI, siehe npu-und-ki-beschleuniger.
• Zahlenformate: Niedrigere Genauigkeit = mehr Durchsatz, siehe zahlenformate-fp32-fp16-bf16-und-fp8.
• Warum nicht CPU: Geht, aber bei großen Modellen 10- bis 100-mal langsamer.
• Rechenleistung: Angegeben in FLOPS (Rechenoperationen pro Sekunde), moderne Rechenzentrums-GPUs erreichen Petaflops bei niedriger Genauigkeit.

Siehe auch: vram-und-modellgröße, Training im Großen: GPUs, Parallelität und Speicher