2024 年 8 月 21 日，D-ID 公司宣布推出一款包含语音克隆和唇同步功能的 AI 视频翻译工具。这项新技术旨在帮助企业和内容创作者将视频内容翻译成多种语言，同时保持演讲者的声音和唇部动作的同步。
D-ID 的 AI 视频翻译工具利用生成式 AI 技术，能够自动生成多语言视频，克隆演讲者的声音，并调整唇部动作以匹配翻译后的内容。这项技术可以降低视频本地化的成本，并帮助用户与全球受众沟通。D-ID 公司表示，这款工具将通过 D-ID Studio 和 API 提供，用户可以免费试用一个月，更多信息和演示可以在其网站上找到。
该工具支持多达 30 种语言，包括阿拉伯语、普通话、日语、印地语、西班牙语和法语等，用户可以通过简单的上传操作，将视频内容翻译成多种语言，同时保持演讲者的声音和唇部动作的同步。
在市场应用方面，D-ID 的 AI 视频翻译工具可以应用于营销、教育、娱乐和社交媒体等领域。例如，企业可以利用这项技术将其营销视频翻译成多种语言，从而触达全球市场；教育机构可以将教学视频翻译成学生的母语；娱乐公司可以为其影视作品提供多语言版本；社交媒体用户可以将自己的视频内容翻译成多种语言。
D-ID 的 AI 视频翻译工具虽然在市场上取得了一定的成功，但它并不是唯一一家提供类似技术的公司。近年来，随着 AI 技术的发展，越来越多的公司开始涉足视频翻译和配音领域。例如，微软在 2024 年宣布将使用 AI 技术翻译和配音 YouTube 视频，用户在观看时即可体验到多语言版本。Vimeo 也推出了类似的工具，不仅可以翻译音频和字幕，还可以通过 AI 技术复制演讲者的声音。其他公司如 Descript、ElevenLabs、Speechify、Veed、Camb.ai、Captions.ai 和 Akool 等也提供语音克隆或 AI 翻译工具，帮助用户进行视频内容的本地化。