Слияние моделей и семейства моделей
Коротко: Несколько дообученных моделей одного происхождения можно слить в одну без повторного обучения. Модели также выходят семействами разных размеров и вариантов.
Подробнее: Поскольку у дообученных моделей с одной исходной точки изменения весов невелики, эти изменения можно объединить.
Подробности
- Усреднение весов: среднее нескольких…
См. также: дообучение и LoRA, Hugging Face