← Emzett Lernen

KI-Modelle und ihre Hardware

Token, Parameter, Quantisierung, VRAM, Bandbreite und Tempo: warum ein Modell auf deinem Rechner schnell oder langsam läuft.

Melde dich an, damit dein Fortschritt gespeichert wird. Anmelden

1. ✓1.Token (KI)
2. ✓2.Parameter (KI-Modell)
3. ✓3.Transformer-Architektur
4. ✓4.Kontextfenster
5. ✓5.KV-Cache
6. ✓6.Prefill und Decode
7. ✓7.Tokens pro Sekunde
8. ✓8.Quantisierung
9. ✓9.Zahlenformate: FP32, FP16, BF16 und FP8
10. ✓10.VRAM und Modellgröße
11. ✓11.Speicherbandbreite
12. ✓12.Auslagern von Modellen (Offloading)
13. ✓13.Unified Memory (Apple Silicon)
14. ✓14.Multi-GPU und Tensor-Parallelismus
15. ✓15.NPU und KI-Beschleuniger
16. ✓16.GGUF und llama.cpp
17. ✓17.FlashAttention
18. ✓18.Spekulatives Decoding
19. ✓19.Mixture of Experts (MoE)
20. ✓20.Energieverbrauch von KI