2024 年 8 月 8 日，民主党参议员伊丽莎白・沃伦（Elizabeth Warren）和众议员洛里・特拉汉（Lori Trahan）向 OpenAI 首席执行官山姆・奥特曼（Sam Altman）发出了一封公开信，要求他解释公司在安全审查和保护举报人方面的措施。沃伦和特拉汉要求奥特曼详细说明 OpenAI 如何进行安全审查，并保护那些揭露公司内部问题的员工。参议员查克・格拉斯利（Chuck Grassley）也曾要求 OpenAI 提供证据，证明其不再要求员工签署可能阻碍他们向政府监管机构披露信息的协议。
在民主党参议员对 OpenAI 安全记录提出质疑的同时，另一项关于 OpenAI 的争议也浮出水面。2024 年 8 月 5 日，有报道称，OpenAI 早已开发出一种可以检测论文是否由 ChatGPT 撰写的反作弊工具，但该工具一直未对外发布。据知情人士透露，这个反作弊工具项目在 OpenAI 内部已经讨论了约两年之久，并在一年之前就已经准备好发布。
尽管学术界对 AI 作弊的担忧日益加剧，OpenAI 却迟迟没有发布这一工具。内部人士表示，发布反作弊工具只是按一下按钮的事，但公司需在透明承诺和吸引用户之间权衡。公司对 ChatGPT 用户进行的一项调查结果显示，近三分之一的用户表示，如果引入反作弊技术，他们可能会对 ChatGPT 失去兴趣。
OpenAI 的发言人表示，公司担心该工具可能会不成比例地影响某些群体，特别是非英语母语者。她说：“我们正在开发的文本水印方法在技术上很有前景，但存在风险，我们正在权衡这些风险，同时研究替代方案。”
支持发布该工具的员工，包括参与开发的人员，在内部表示这些顾虑与该技术可能带来的好处相比微不足道。他们认为，在当前的形势下，这种工具的积极作用超过了潜在的负面影响。生成式 AI 技术的快速发展已经给教育界带来了巨大的挑战。ChatGPT 等工具可以在几秒钟内根据简单的提示创建一篇完整的论文，而且是免费的。这使得老师和教授们迫切需要技术上的帮助来打击这种滥用行为。
最近的一项调查发现，59% 的初高中教师确信有些学生使用 AI 来协助完成学校作业，这一比例比上一学年增加了 17 个百分点。OpenAI CEO 山姆・奥特曼（Sam Altman）和首席技术官米拉・穆拉蒂（Mira Murati）都参与了关于反作弊工具的讨论。据知情人士透露，奥特曼鼓励这个项目，但并没有推动其发布。
这个反作弊工具是如何工作的呢？ChatGPT 的运作基于一个 AI 系统，该系统会预测句子中下一个单词或 token 应该是什么（的概率最大），而 OpenAI 尚未发布的反作弊工具会稍微改变 token 的选择方式，这些改变会留下一种 “水印”。人眼无法察觉这些水印，但 OpenAI 的检测技术可以捕捉它们。检测器会给出整个文档或其中一部分由 ChatGPT 撰写的可能性得分。根据内部文件，当 ChatGPT 创建足够多的新文本时，该水印技术的有效性达到了 99.9%。
然而，OpenAI 的员工也提出了一些关切。他们担心这些水印可能会被一些简单的手段抹去，比如使用谷歌翻译将文本翻译成另一种语言然后再翻译回来，或者让 ChatGPT 在文本中添加表情符号然后手动删除它们。公司内部普遍认为，确定谁可以使用这个检测器将是一个挑战。如果使用者太少，这个工具就没有用处，可如果太多人使用，不法分子可能会破解公司的水印技术。
OpenAI 在 2023 年 1 月发布了一种算法，旨在检测包括自家 ChatGPT 在内的几个 AI 模型写的内容。但该算法的成功率只有 26%，OpenAI 在七个月后就将其撤下。目前，有一些由外部公司和研究人员开发的工具可以检测 AI 创建的文本，许多教师表示他们已经使用过这些工具。但这些工具有时无法检测到由先进的模型写出的东西，而且产生误报的概率很高。
与此同时，OpenAI 还面临着外部的监管压力，要求其证明自身并未隐瞒 AI 风险。这一压力源于举报人向美国证券交易委员会举报称，OpenAI 的保密协议涉嫌非法阻止员工向立法者披露重大安全隐患。在这一背景下，已有美国国会议员要求 OpenAI 提供当前的雇佣、离职和保密协议，以向国会保证这些合同不会阻碍披露。
2024 年 8 月 1 日，OpenAI 首席执行官山姆・奥特曼宣布，OpenAI 正在与美国 AI 安全研究所合作，达成协议，为其下一个主要生成式人工智能模型的安全测试提供早期访问权限。此举旨在回应公众和政府对人工智能技术安全性的担忧，并通过与政府机构的合作，推动人工智能技术的安全和负责任发展。
这一合作关系的建立并非偶然。早在 2023 年 10 月，包括夏威夷民主党参议员 Brian Schatz 在内的五位参议员就对 OpenAI 的安全标准和雇佣实践提出了质疑。他们在致奥特曼的信中，表达了对 OpenAI 在安全评估和网络安全方面的担忧。面对这些质疑，OpenAI 表示将采取一系列措施来回应外界的关切。首先，OpenAI 将取消限制性非贬损条款，这些条款曾隐含地阻止内部人员举报。此外，OpenAI 还将创建一个安全委员会，并承诺将其计算资源的 20% 用于安全研究。
然而，这些措施并未完全平息外界的质疑。2024 年 8 月 3 日，有报道称，举报人向美国证券交易委员会指控 OpenAI 的保密协议非法阻止员工向立法者披露重大安全问题。参议员查克・格拉斯利（Chuck Grassley）要求 OpenAI 提供证据，证明其不再要求员工签署可能阻碍他们向政府监管机构披露信息的协议。