KI-Chips im Vergleich: GPU, TPU, NPU und Co.

Kurz: KI rechnet vor allem Matrizenmultiplikationen. Dafür gibt es spezielle Chips, die viele davon gleichzeitig und sparsam erledigen: GPU, TPU, NPU und weitere Beschleuniger.

Die wichtigsten Typen

• CPU: wenige, sehr flexible Kerne. Gut für Steuerung, schlecht für riesige Matrizen.
• GPU: tausende kleine Kerne, ursprünglich für Grafik, siehe Warum GPUs für KI?. Heute Standard für Training und Betrieb. Spezielle Tensor-Kerne beschleunigen Matrizenrechnung in niedriger Genauigkeit.
• TPU (Google): auf Matrizenrechnung zugeschnittene Chips mit sogenannten Systolic Arrays, in großen Verbünden zusammengeschaltet.
• NPU: kleine, stromsparende KI-Einheit in Handys und Laptops, etwa für Foto- und Spracherkennung auf dem Gerät.
• Spezialchips (Groq, Cerebras u. a.): eigene Architekturen, zum Beispiel sehr viel schneller Chip-Speicher oder ein ganzer Wafer als ein Chip, um den Datenverkehr zu sparen.

Was wirklich zählt

1. Rechenleistung in FLOPS bei der genutzten Genauigkeit (FP16, FP8, INT4).
2. Speicher und Speicherbandbreite: Bei der Textgenerierung wartet der Chip meist auf Daten, nicht auf Rechnen, siehe Inferenz-Server: Batching, PagedAttention und vLLM.
3. Verbindung zwischen Chips, wenn ein Modell auf viele verteilt wird (Training im Großen: GPUs, Parallelität und Speicher).
4. Software: Treiber und Bibliotheken entscheiden oft, wie viel Leistung ankommt.
5. Energie und Kosten.

Siehe auch: Edge-KI: Modelle auf Handy und Raspberry Pi, Modell-Verkleinerung: Destillation und Pruning