RLHF и оптимизация предпочтений

Коротко: RLHF (обучение с подкреплением на обратной связи от людей) согласует языковую модель с предпочтениями людей: люди сравнивают ответы, из этого получается модель вознаграждения, и модель снова улучшается.

Подробнее: Причина: простой формулы «хорошего ответа» не существует. Но люди легко могут сказать, какой из двух ответов лучше.