GGUF і llama.cpp

Коротко: llama.cpp — це програма з відкритим кодом, яка ефективно запускає мовні моделі на звичайних комп’ютерах. GGUF — формат файлу, у якому зберігаються моделі.

Докладніше: llama.cpp працює на процесорі, NVIDIA (CUDA), AMD (ROCm, Vulkan) та Apple (Metal). Файл GGUF містить ваги (зазвичай квантовані), токенізатор і метадані в одному файлі. На ньому побудовані такі програми, як Ollama, LM Studio і Jan.

Подробиці

• Імена файлів: model-q4_k_m.gguf видає квантування.
• Розміщення шарів на GPU: параметром (-ngl) задається, скільки шарів піде на карту (вивантаження).
• Сервер: llama.cpp може надавати OpenAI-сумісний інтерфейс.
• Ліцензія: MIT. Моделі мають власні ліцензії (відкриті моделі та їхні ліцензії).

Див. також: Hugging Face, Квантування