Дообучение (fine-tuning) и LoRA

Коротко: При дообучении готовая модель дополнительно обучается на новых примерах, чтобы лучше справляться с задачей или стилем. LoRA делает это при очень небольшом объёме памяти.

Подробнее: Вместо изменения всех миллиардов параметров LoRA (low-rank adaptation) обучает небольшие дополнительные матрицы размером всего в несколько мегабайт. Их можно накладывать на базовую модель или менять. QLoRA сочетает это с квантованной базовой моделью.

Подробности

• Когда полезно: фиксированный стиль, профессиональный язык, особый формат вывода. Для новых знаний часто лучше подходит RAG.
• Данные: часто достаточно сотен или тысяч хороших примеров.
• Оборудование: с QLoRA модель на 7 млрд параметров можно адаптировать на карте с 12–16 ГБ VRAM.
• Риски: переобучение, потеря общих знаний, конфиденциальность обучающих данных.

См. также: Параметры (модель ИИ), Квантование