RLHF та оптимізація вподобань

Коротко: RLHF (навчання з підкріпленням на зворотному зв’язку від людей) узгоджує мовну модель із вподобаннями людей: люди порівнюють відповіді, з цього виходить модель винагороди, і модель знову покращується.

Докладніше: Причина: простої формули «доброї відповіді» не існує. Але люди легко можуть сказати, яка з двох відповідей краща.