机器之心报道编辑：张倩、Panda训练狗时不仅要让它知对错，还要给予差异较大的、不同的奖励诱导，设计 RLHF 的奖励模型时也是一样。我们知道，一个 RLHF 算法是否成功的一大关键在于其奖励模型（RM）的质量。但是，我们应该如何衡量 RM