Meta 近日推出了一种名为 “自我学习评估器（Self-Taught Evaluators）” 的新方法，用于训练评价模型的评估器。这一方法通过使用合成数据进行训练，省去了人工标注过程，提高了模型评估的效率。具体来说，自学评估器首先生成对比输出（好的和坏的模型响应），并训练一个大型语言模型（LLM）作为裁判，产生推理轨迹和最终判决。随后，通过改进的预测方式，模型进行重复迭代训练，无需任何标记的偏好数据。在 RewardBench 基准测试中，Self-Taught Evaluator 将 Llama3-70BInstruct 的分数从 75.4 提高到 88.3。
传统的模型评估方法通常依赖于大量的人工标注数据，这不仅耗时耗力，还容易受到人为偏见的影响。相比之下，自学评估器完全依赖合成数据进行训练，消除了对人工标注的需求。自学评估器的工作流程包括以下几个步骤：
- 系统生成一组对比输出，包括好的和坏的模型响应。
- 训练一个大型语言模型（LLM）作为裁判，评估这些响应的质量。
- 裁判模型会生成详细的推理轨迹，并给出最终的判决。
- 系统使用改进的预测方式，进行重复迭代训练，不断优化模型的评估能力。
自学评估器减少了对人工标注数据的依赖，降低了评估成本。通过使用合成数据进行训练，系统可以生成更为多样化和全面的评估样本。自学评估器采用了迭代自我改进的方式，使得模型能够不断优化自身的评估能力。
自学评估器的推出对 NLP 领域具有影响。首先，它为模型评估提供了一种自主的解决方案，减少了对人类生成数据的依赖。其次，通过提升评估的准确性和覆盖面，自学评估器可以帮助研究人员更好地理解和优化模型的性能。最后，自学评估器的应用展示了合成数据在 AI 训练中的潜力，为未来更多基于合成数据的 AI 应用提供了参考。
Meta 的自学评估器在自然语言处理（NLP）领域可以用于各种模型的评估和优化，包括文本生成、机器翻译、情感分析等。通过提高评估的效率和准确性，研究人员可以更快地迭代和改进模型。
自学评估器在实际应用中也面临一些挑战。首先，尽管合成数据在评估中表现出色，但其生成质量和多样性仍需进一步提升。研究人员需要不断改进合成数据的生成算法，确保其能够覆盖更多的评估场景和样本。其次，自学评估器的迭代训练过程可能需要大量的计算资源，这对系统的性能和效率提出了更高的要求。研究人员需要优化训练算法和硬件配置，以提高系统的运行效率。