RLHF ve tercih eniyilemesi

Kısaca: RLHF (insan geri bildiriminden pekiştirmeli öğrenme) bir dil modelini insan tercihleriyle hizalar: insanlar yanıtları karşılaştırır, bundan bir ödül modeli çıkar ve model yeniden iyileştirilir.

Biraz daha ayrıntılı: Neden: “iyi yanıt” için basit bir formül yoktur. Ama insanlar iki yanıttan hangisinin daha iyi olduğunu kolayca söyleyebilir.