Донавчання (fine-tuning) і LoRA

Коротко: Під час донавчання готова модель додатково навчається на нових прикладах, щоб краще справлятися із завданням або стилем. LoRA робить це за дуже малого обсягу пам’яті.

Докладніше: Замість зміни всіх мільярдів параметрів LoRA (low-rank adaptation) навчає невеликі додаткові матриці розміром лише кілька мегабайтів. Їх можна накладати на базову модель або міняти. QLoRA поєднує це з квантованою базовою моделлю.

Подробиці

• Коли корисно: фіксований стиль, фахова мова, особливий формат виводу. Для нових знань часто краще підходить RAG.
• Дані: часто достатньо сотень або тисяч хороших прикладів.
• Обладнання: з QLoRA модель на 7 млрд параметрів можна адаптувати на карті з 12–16 ГБ VRAM.
• Ризики: перенавчання, втрата загальних знань, конфіденційність навчальних даних.

Див. також: Параметри (модель ШІ), Квантування