2024 年 8 月 30 日，美国政府宣布，OpenAI 和 Anthropic 已签署正式的人工智能安全研究、测试和评估合作协议。根据协议，美国人工智能安全研究所（USAISI）将在模型发布之前获得 OpenAI 和 Anthropic 的主要新模型的使用权。这一举措旨在评估模型能力和安全风险，并开发和测试风险缓解策略，以确保这些 AI 技术在发布后不会对社会或用户构成潜在威胁。
这一协议的签署背景是全球范围内对 AI 技术安全性和伦理问题的日益关注。各国政府和科技公司都在努力寻找平衡点，以确保 AI 技术的发展不会带来不可控的风险。美国政府通过与 AI 公司合作，旨在建立一个更安全的 AI 生态系统。
美国人工智能安全研究所是美国商务部国家标准与技术研究院（NIST）的一部分，成立于拜登总统的 AI 行政命令之下。其主要任务是制定 AI 红队测试、能力评估、风险管理、安全和保障以及合成内容水印等方面的指南。USAISI 的成立标志着美国在 AI 安全领域迈出了一步，旨在通过科学和技术手段，确保 AI 技术的安全性和可靠性。
在美国之外，其他国家也在采取类似的举措。例如，英国政府成立了英国人工智能安全研究所，并与 Anthropic 等公司合作，分享 AI 模型和技术，以评估其安全性和潜在风险。欧盟也在积极推动 AI 法规的制定，旨在确保 AI 技术的透明性和可控性。通过这些国际合作，各国希望能够共同应对 AI 技术带来的挑战，确保其安全性和可靠性。
AI 技术的安全性和风险评估是当前科技界和社会关注的焦点。随着 AI 技术在各个领域的应用越来越广泛，其潜在风险也逐渐显现。例如，AI 技术可能被用于制造深度伪造视频，传播虚假信息，甚至可能被用于网络攻击。因此，确保 AI 技术的安全性和可靠性，成为了各国政府和科技公司共同的目标。