Злиття моделей і родини моделей
Коротко: Кілька дотренованих моделей одного походження можна злити в одну без повторного навчання. Моделі також виходять родинами різних розмірів і варіантів.
Докладніше: Оскільки у дотренованих моделей з однієї вихідної точки зміни ваг невеликі, ці зміни можна об’єднати.
Подробиці
- Усереднення ваг: середнє кількох…
Див. також: дотренування та LoRA, Hugging Face