GGUF ve llama.cpp

Kısaca: llama.cpp, dil modellerini sıradan bilgisayarlarda verimli çalıştıran açık kaynaklı bir programdır. GGUF, modellerin saklandığı dosya biçimidir.

Biraz daha ayrıntılı: llama.cpp; işlemci, NVIDIA (CUDA), AMD (ROCm, Vulkan) ve Apple (Metal) üzerinde çalışır. Bir GGUF dosyası, ağırlıkları (çoğunlukla nicemlenmiş), belirteç çözümleyiciyi (tokenizer) ve üst verileri tek dosyada içerir. Ollama, LM Studio ve Jan gibi programlar bunun üzerine kuruludur.

Ayrıntılı

• Dosya adları: model-q4_k_m.gguf nicemlemeyi ele verir.
• Katmanları GPU’ya koymak: Bir parametreyle (-ngl) kaç katmanın karta gideceğini belirlersiniz (offloading).
• Sunucu: llama.cpp, OpenAI uyumlu bir arayüz sunabilir.
• Lisans: MIT. Modellerin kendi lisansları vardır (açık modeller ve lisansları).

Ayrıca bak: Hugging Face, Nicemleme