OpenAI 最近发表了一篇研究论文，展示了大小模型之间的博弈如何提高生成内容的可读性。这项研究来自 OpenAI 已解散的 “超级对齐” 团队，他们模仿了多伦多大学学者在 2021 年提出的 “证明者 – 验证者”（Prover-Verifier）博弈。在训练过程中，大模型扮演 “证明者”，而小模型则是 “验证者”，两者展开了一场较量。结果显示，大模型输出的内容更易理解，而且准确率并没有显著下降，小模型的判断水平也得到了提升。
OpenAI 的研究目标是通过大小模型的博弈机制，提升生成内容的可读性，同时确保输出的准确性。具体来说，他们希望这种方法能让人类更快、更准确地判断模型的输出。
在实验设计方面，研究团队选用了一个包含小学数学问题、解决方案和正确答案的数据集。这个数据集被随机分成了两个大小相等的子集，分别用于训练证明者和验证者。两者的角色分工如下：
- 证明者：大模型，负责生成复杂的证明和解答。
- 验证者：小模型，负责验证证明者生成的内容。
训练过程是分多轮进行的。每轮训练中，团队会从上一轮生成的解决方案中抽取一些正确和错误的样本，这些样本会作为本轮验证者的训练数据。通过监督学习，验证者不断提高判断的准确性。验证者需要对正确解决方案的评分高于错误解决方案，从而不断提升其判断准确率。
通过这种多轮训练和相互博弈，研究团队希望实现模型输出既好懂又准确。