EMZETT.
Войти

Слияние моделей и семейства моделей

Коротко: Несколько дообученных моделей одного происхождения можно слить в одну без повторного обучения. Модели также выходят семействами разных размеров и вариантов.

Подробнее: Поскольку у дообученных моделей с одной исходной точки изменения весов невелики, эти изменения можно объединить.

Подробности

  • Усреднение весов: среднее нескольких…

См. также: дообучение и LoRA, Hugging Face