Zahlenformate: FP32, FP16, BF16 und FP8

Kurz: KI rechnet mit Gleitkommazahlen in verschiedener Genauigkeit. Weniger Bits sparen Speicher und Rechenzeit, bringen aber Rundungsfehler.

Genauer: FP32 (32 Bit) ist die klassische Genauigkeit. FP16 und BF16 (16 Bit) sind Standard für Training und Betrieb. BF16 hat den Wertebereich von FP32 mit geringerer Genauigkeit und ist stabiler beim Training. FP8 (8 Bit) nutzen neuere Karten (Hopper, Ada, Blackwell) für noch mehr Tempo.

Im Detail

• Aufbau: Vorzeichen, Exponent (Wertebereich), Mantisse (Genauigkeit). BF16: 8 Bit Exponent, 7 Bit Mantisse. FP16: 5 Bit Exponent, 10 Bit Mantisse.
• Tensor Cores: Spezialeinheiten der Grafikkarte für Matrixrechnung in FP16, BF16, FP8 und INT8.
• Ganzzahlformate: INT8 und INT4 sind noch kleiner und vor allem für den Betrieb gedacht.
• TFLOPS: Maß für Rechenleistung. Beim Erzeugen ist sie weniger wichtig als die Bandbreite, beim Verarbeiten langer Prompts sehr.

Siehe auch: Quantisierung, Prefill und Decode