EMZETT.Kurz erklärt
llama.cpp ist ein quelloffenes Programm, das Sprachmodelle effizient auf normalen Computern ausführt. GGUF ist das Dateiformat, in dem die Modelle gespeichert sind.
Genauer
llama.cpp läuft auf CPU, NVIDIA (CUDA), AMD (ROCm, Vulkan) und Apple (Metal). Eine GGUF-Datei enthält die Gewichte (meist quantisiert), den Tokenizer und Metadaten in einer Datei. Programme wie Ollama, LM Studio und Jan bauen darauf auf.