GGUF und llama.cpp

Kurz: llama.cpp ist ein quelloffenes Programm, das Sprachmodelle effizient auf normalen Computern ausführt. GGUF ist das Dateiformat, in dem die Modelle gespeichert sind.

Genauer: llama.cpp läuft auf CPU, NVIDIA (CUDA), AMD (ROCm, Vulkan) und Apple (Metal). Eine GGUF-Datei enthält die Gewichte (meist quantisiert), den Tokenizer und Metadaten in einer Datei. Programme wie Ollama, LM Studio und Jan bauen darauf auf.

Im Detail

• Dateinamen: modell-q4_k_m.gguf verrät die Quantisierung.
• Schichten auf die GPU legen: Mit einem Parameter (-ngl) legt man fest, wie viele Schichten auf die Karte kommen (Auslagern von Modellen (Offloading)).
• Server: llama.cpp kann eine OpenAI-kompatible Schnittstelle anbieten.
• Lizenz: MIT. Die Modelle haben eigene Lizenzen (Offene Modelle und ihre Lizenzen).

Siehe auch: Hugging Face, Quantisierung