2024 年 9 月 27 日,OpenAI 发布了基于 GPT-4 的新型内容审核模型 omni-moderation-latest。该模型在检测文本和图像中的有害内容方面提高了准确性,并增加了新的有害类别。在资源较少的语言中,性能有所提升。OpenAI 还宣布,这一模型将对使用 Moderation API 的开发者免费开放。
相比之前的版本,新模型在多个方面进行了优化。首先,它在检测文本和图像中的有害内容方面提高了准确性。通过增加新的有害类别,模型能够更全面地识别潜在的有害内容。此外,omni-moderation-latest 在超过 40 种语言中提升了性能,特别是在资源较少的语言中表现较好。
技术细节方面,omni-moderation-latest 模型使用了 OpenAI 的 GPT 分类器来评估内容是否应被标记。该模型还提供了校准的概率评分,以实现更一致的审核决策。这一功能对于开发者来说尤为重要,因为它能够帮助他们更准确地判断内容是否符合平台的使用政策。OpenAI 还特别强调,使用 Moderation API 的数据不会用于训练或改进 OpenAI 模型。这一声明得到了用户的支持,因为它确保了用户数据的隐私和安全。
omni-moderation-latest 模型的发布为多个行业带来了新的应用场景。在社交媒体平台上,内容审核一直是一个难题。随着用户生成内容的增长,平台需要更高效的工具来识别和过滤有害内容。omni-moderation-latest 模型的多模态分析能力,使其能够同时处理文本和图像,从而提高了审核效率。
在教育领域,内容审核同样重要。在线教育平台需要确保教学内容的安全性和适宜性。通过使用 omni-moderation-latest 模型,这些平台可以更准确地识别不适宜的内容,保护学生的身心健康。
医疗领域也可以从新模型中受益。例如,医疗信息平台需要审核用户发布的健康信息,以防止传播错误或有害的医疗建议。omni-moderation-latest 模型的高精度和多语言支持,使其成为这一领域的选择。
此外,OpenAI 的这一举措也引发了行业内的竞争。国内外的多家科技公司纷纷加大了在内容审核技术上的投入。例如,微软发布了新的 Phi 3.5 系列模型,其中包括专注于多模态分析的 Phi-3.5-vision-instruct 模型。这些竞争对手的加入,进一步推动了内容审核技术的发展。