Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

GGUF und llama.cpp llama.cpp ist ein quelloffenes Programm, das Sprachmodelle effizient auf normalen Computern ausführt. GGUF ist das Dateiformat, in dem die Modelle gespeichert sind.
llama.cpp läuft auf CPU, NVIDIA (CUDA), AMD (ROCm, Vulkan) und Apple (Metal). Eine GGUF-Datei enthält die Gewichte (meist quantisiert), den Tokenizer und Metadaten in einer Datei. Programme wie Ollama, LM Studio und Jan bauen darauf auf.
Verwandt: Hugging Face · Quantisierung · Auslagern von Modellen (Offloading) · Offene Modelle und ihre Lizenzen
Ganzer Artikel im Wiki →

← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

GGUF und llama.cpp llama.cpp ist ein quelloffenes Programm, das Sprachmodelle effizient auf normalen Computern ausführt. GGUF ist das Dateiformat, in dem die Modelle gespeichert sind.
llama.cpp läuft auf CPU, NVIDIA (CUDA), AMD (ROCm, Vulkan) und Apple (Metal). Eine GGUF-Datei enthält die Gewichte (meist quantisiert), den Tokenizer und Metadaten in einer Datei. Programme wie Ollama, LM Studio und Jan bauen darauf auf.
Verwandt: Hugging Face · Quantisierung · Auslagern von Modellen (Offloading) · Offene Modelle und ihre Lizenzen
Ganzer Artikel im Wiki →