GGUF и llama.cpp

Коротко: llama.cpp — это программа с открытым исходным кодом, которая эффективно запускает языковые модели на обычных компьютерах. GGUF — формат файла, в котором хранятся модели.

Подробнее: llama.cpp работает на процессоре, NVIDIA (CUDA), AMD (ROCm, Vulkan) и Apple (Metal). Файл GGUF содержит веса (обычно квантованные), токенизатор и метаданные в одном файле. На нём построены такие программы, как Ollama, LM Studio и Jan.

Подробности

• Имена файлов: model-q4_k_m.gguf выдаёт квантование.
• Размещение слоёв на GPU: параметром (-ngl) задаётся, сколько слоёв пойдёт на карту (выгрузка).
• Сервер: llama.cpp может предоставлять OpenAI-совместимый интерфейс.
• Лицензия: MIT. У моделей свои лицензии (открытые модели и их лицензии).

См. также: Hugging Face, Квантование