2024 年 8 月 8 日，深度学习专家 Yoshua Bengio 宣布加入 Safeguarded AI 项目，并担任科学总监。该项目由英国高级研究与发明局（ARIA）支持，旨在通过结合科学的世界模型和数学证明，构建一个负责理解和降低其它 AI Agent 风险的 AI 系统，提供量化的安全保障。
Safeguarded AI 项目的核心目标是确保 AI 系统在部署过程中能够正常运作，避免因行为异常或误用带来的严重后果。Bengio 在接受采访时表示：“如果你计划部署某种技术，鉴于 AI 行为异常或误用可能带来非常严重的后果，你需要提出充分的理由，最好能提供强有力的数学保证，确保你的 AI 系统将正常运作。”
Safeguarded AI 项目被划分为三个技术领域，每个领域都有特定的目标和预算：
- ** 支架 **（Scaffolding）：构建一个可扩展、可互操作的语言和平台，用于维护现实世界模型 / 规范并检查证明文件。
- ** 机器学习 **（Machine Learning）：使用前沿 AI 帮助领域专家构建复杂现实世界动力学的数学模型，并利用前沿 AI 训练自主系统。
- ** 应用 **（Applications）：在关键的网络 – 物理操作环境中部署一个由 “把关 AI” 保护的自主 AI 系统，通过量化的安全保障释放重要的经济价值。
官方表示，Bengio 加入后将特别关注 TA3 和 TA2，在整个计划中提供科学战略建议。ARIA 还计划投入 1800 万英镑（约合人民币 1.64 亿元）成立一个非营利组织，领导 TA2 的研发工作。
Safeguarded AI 项目总监是前 Twitter 高级软件工程师 David “davidad” Dalrymple，他在去年 9 月份加入 ARIA。Dalrymple 在 X（原推特）上传了俩人的合照，并表示：“Bengio 的加入将为项目带来科学洞察力和战略指导。”
Bengio 的具体职责包括监督项目的科学研究方向，确保各个技术领域的研究工作能够紧密结合，形成一个整体的安全保障体系。他还将负责与其他 AI 安全项目的合作，推动全球 AI 安全标准的制定。
ARIA 的支持不仅体现在资金方面，还包括提供研究设施和技术支持。ARIA 计划在未来几年内投入共 5900 万英镑（约合人民币 5.37 亿元），以确保 Safeguarded AI 项目能够顺利进行并取得预期成果。
Bengio 在多个场合强调了 AI 安全的重要性。他指出，随着 AI 技术的快速发展，AI 系统在各个领域的应用越来越广泛，但同时也带来了潜在的风险。如果不加以控制，AI 行为异常或误用可能会导致严重的后果。因此，确保 AI 系统的安全性和可靠性是当前亟需解决的问题。
此外，Bengio 之前还和 Hinton、姚期智、张亚勤等人工智能专家，发表了一封公开信《在快速进步的时代管理人工智能风险（Managing AI Risks in an Era of Rapid Progress）》。这封公开信呼吁全球 AI 研究者和开发者共同努力，确保 AI 技术的发展能够造福全人类，而不是带来灾难性的后果。
在这封公开信中，Bengio 等人提出了多项建议，包括建立全球 AI 安全标准、加强 AI 系统的透明度和可解释性、推动 AI 伦理研究等。这些建议得到了广泛的认可和支持，许多 AI 领域的专家和学者纷纷表示愿意参与到这一全球性的 AI 安全合作中来。