2024 年 9 月 20 日，加州州长加文・纽森签署了 AB 2839 法案，该法案立即生效，旨在限制社交媒体用户发布或转发误导选民的 AI 深度伪造内容。此举正值 2024 年总统选举的关键时刻，旨在保护选民免受虚假信息的影响。
AB 2839 法案的核心内容是禁止在选举前 120 天和选举后 60 天内发布或转发可能误导选民的 AI 深度伪造内容。该法案规定，任何个体或实体如果恶意分发与选举有关的欺骗性深度伪造内容，将面临法律诉讼和民事罚款。法案还允许法院在发现违规内容后立即采取行动，阻止其传播，并对违规者处以罚款。
此外，AB 2839 法案还面临法律挑战。深度伪造视频的创作者已经对加州提起诉讼，试图阻止这一法律的实施。他们认为，这一法律过于宽泛，可能会对合法的创作和表达产生负面影响。法律专家也对此表示担忧，认为这一法律在实施过程中可能会面临诸多挑战，尤其是在如何界定 “欺骗性内容” 方面。
除了 AB 2839 法案，加州还通过了其他几项与 AI 相关的法律，以进一步加强对选举虚假信息的监管。其中，AB 2655 法案和 AB 2355 法案是最为重要的两项。
AB 2655 法案要求拥有超过百万加州用户的大型网络平台在选举前后的特定时期内，对虚假内容进行识别、标记和删除。这包括社交媒体、视频平台和搜索引擎等。法案还规定，这些平台必须提供举报渠道，允许用户举报虚假内容。候选人和政府官员可以申请强制令，防止 AI 深度伪造干扰选举。该法案将于 2025 年 1 月 1 日正式生效。
AB 2355 法案则规定，在使用 AI 生成或大幅更改选举广告时，必须对此进行明确披露。这意味着，任何使用 AI 技术制作的选举广告都必须标明其为 AI 生成的内容，以防止误导选民。联邦通信委员会（FCC）也在全国范围内提出了类似的披露要求，并宣布使用 AI 生成声音的自动拨号电话是非法的。
这些法律在实施过程中也可能面临诸多挑战。法律专家认为，如何界定 “虚假内容” 和 “欺骗性内容” 将是一个难题。平台在识别和删除虚假内容时，可能会面临技术和法律上的困难。例如，如何确保 AI 生成的内容被准确识别和标记，如何处理用户的举报和投诉等问题，都需要进一步的探索和解决。