OpenAI 最近宣布了一项新工具的开发计划，旨在检测由 ChatGPT 生成的文本。OpenAI 表示，他们在发布这一工具时，将采取 “审慎态度”，以确保其准确性和可靠性。
OpenAI 正在研究一种称为文本水印的方法，可以在 ChatGPT 生成的文本中嵌入不可见的标记，从而在后续检测中识别这些文本。OpenAI 也提到了一些挑战，比如可能被不良行为者规避，或者对非英语使用者产生影响。
OpenAI 推出文本检测工具，是为了应对 ChatGPT 生成文本被用于学术作弊和其他不当行为的问题。随着生成式 AI 在学术写作中的普及，尤其是在生物医学领域，检测 AI 生成内容的需求变得更加紧迫。《自然》期刊的报道显示，PubMed 上约 10% 的论文摘要可能涉及 AI 写作，相当于每年约 15 万篇论文。为了维护学术诚信，防止学生和研究人员滥用 AI，OpenAI 开发了这个工具。
这款检测工具的核心是文本水印技术。具体来说，OpenAI 通过在 ChatGPT 生成的文本中嵌入不可见的标记来进行检测。这些标记通过对文本的词汇选择和句子结构进行微小调整实现，类似于在文本中嵌入一个 “隐形水印”。这些标记在正常阅读时是看不见的，但可以通过专门的检测工具识别出来，从而确认文本是否由 ChatGPT 生成。
尽管文本水印技术在检测 ChatGPT 生成文本方面表现出了较高的准确率，但也有一些局限性。恶意用户可能通过翻译、重写或插入特殊字符等方式绕过检测。此外，该工具对非英语用户可能不太友好，因为这些用户的文本更容易被误判为 AI 生成。OpenAI 的研究也指出，文本水印技术在应对全球化篡改（如使用翻译系统或其他生成模型进行重写）时的效果不佳。
OpenAI 内部对文本检测工具的发布存在争议，主要担忧在于工具的潜在滥用和对非英语用户的影响。虽然该工具可以有效检测 ChatGPT 生成的文本，但也可能被不当利用，比如对特定群体进行不公平的审查或限制。另外，非英语用户的文本更容易被误判为 AI 生成，这可能导致他们在学术和职业环境中面临不公平的待遇。
考虑到这些争议，OpenAI 采取了审慎的态度，暂缓了文本检测工具的公开发布。公司正在研究替代方案，希望找到更为公平和有效的检测方法。同时，OpenAI 也在评估工具对整个生态系统的广泛影响，包括对学术界、教育机构和普通用户的潜在影响。
与现有的那些检测工具不同，OpenAI 正在开发的新工具专注于检测 ChatGPT 生成的内容，而不是其他公司的模型。这个工具通过在 ChatGPT 生成内容时，做一些微小的词汇调整，创建一种不可见的 “水印”。这样一来，即使内容被改写或翻译，工具也能有效识别出这些文本。
在教育领域，尤其是高校，这个检测工具能帮助老师识别学生是不是用 ChatGPT 完成作业，维护学术诚信。在内容创作行业，它可以验证文章的原创性，保护版权，防止抄袭和未经授权的使用。