EMZETT.Glossar
1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.
5 Treffer
Speicherbandbreite Die Speicherbandbreite gibt an, wie viele Gigabyte pro Sekunde zwischen Speicher und Prozessor übertragen werden können.
Sie ist der entscheidende Wert für die Geschwindigkeit von Sprachmodellen. Grafikkarten haben hunderte bis tausende GB/s (GDDR6X, HBM), normaler Arbeitsspeicher im PC nur etwa 50 bis 100 GB/s. Apple-Chips mit Unified Memory liegen dazwischen (100 bis 800 GB/s).
Verwandt: Tokens pro Sekunde · Unified Memory (Apple Silicon) · VRAM und Modellgröße · Auslagern von Modellen (Offloading) · Multi-GPU und Tensor-Parallelismus · NPU und KI-Beschleuniger
Ganzer Artikel im Wiki →NPU und KI-Beschleuniger Eine NPU (Neural Processing Unit) ist ein Chipbereich, der Rechnungen für neuronale Netze besonders effizient ausführt. Sie steckt in Handys und neuen Laptop-Prozessoren.
NPUs sind auf wenig Stromverbrauch ausgelegt und geben ihre Leistung in TOPS an (Billionen Operationen pro Sekunde, meist INT8). Für kleine Modelle, Kamera-Effekte und Hintergrund-Aufgaben sind sie ideal. Für große Sprachmodelle ist meist die Speicherbandbreite der Engpass, nicht die TOPS-Zahl.
Verwandt: Speicherbandbreite · Zahlenformate: FP32, FP16, BF16 und FP8
Ganzer Artikel im Wiki →Prefill und Decode Ein Sprachmodell arbeitet in zwei Phasen: Prefill verarbeitet den ganzen Prompt auf einmal, Decode erzeugt die Antwort Token für Token.
Prefill ist rechenlastig und lässt sich gut parallelisieren, deshalb ist es pro Token viel schneller (hunderte bis tausende Tokens pro Sekunde). Decode ist durch die Speicherbandbreite begrenzt und läuft nur so schnell wie ein einzelner Lesezyklus durch das Modell.
Verwandt: Tokens pro Sekunde · FlashAttention · KV-Cache · Spekulatives Decoding · Zahlenformate: FP32, FP16, BF16 und FP8
Ganzer Artikel im Wiki →Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits (z. B. 4 statt 16). Das spart Speicher und macht das Modell schneller, kostet aber etwas Qualität.
Ein Gewicht in 16-Bit-Gleitkomma braucht 2 Bytes, in 8 Bit 1 Byte, in 4 Bit ein halbes Byte. Da die Geschwindigkeit an der Speicherbandbreite hängt, ist ein 4-Bit-Modell grob viermal so schnell wie dasselbe Modell in 16 Bit.
Verwandt: GGUF und llama.cpp · VRAM und Modellgröße · Zahlenformate: FP32, FP16, BF16 und FP8 · Finetuning und LoRA · Parameter (KI-Modell) · Tokens pro Sekunde
Ganzer Artikel im Wiki →Tokens pro Sekunde Tokens pro Sekunde (Tok/s) misst, wie schnell ein Sprachmodell Text erzeugt. Je höher, desto flüssiger wirkt die Antwort.
Beim Erzeugen jedes einzelnen Tokens muss die Hardware fast alle aktiven Gewichte des Modells einmal aus dem Speicher lesen. Die Geschwindigkeit ist deshalb meist durch die Speicherbandbreite begrenzt, nicht durch die Rechenleistung. Faustformel: Tok/s ≈ Bandbreite × Wirkungsgrad ÷ Modellgröße in Bytes.
Verwandt: Prefill und Decode · Speicherbandbreite · Mixture of Experts (MoE) · Quantisierung · Spekulatives Decoding · Token (KI)
Ganzer Artikel im Wiki →