2024 年 8 月 14 日,实时唇语同步软件 sync.labs 宣布获得由 Google Ventures 领投的 550 万美元种子轮融资,其他投资者还包括 Y Combinator、RebelFund VC、Creator Ventures 和 Lobster Capital 等。sync.labs 的模型能够让用户在任何视频中实现多语言唇语同步,提升视频内容的可访问性和用户体验。
sync.labs 的实时唇语同步技术在技术上取得了突破,通过其提供的 API,视频内容创作者可以轻松地将任何视频动画化,使其能够说任何语言,无需进行复杂的训练。这一技术在语言转换和唇同步效果方面表现出色。
许多企业也看到了 sync.labs 技术的商业价值。一家教育培训机构使用 sync.labs 的服务将其在线课程翻译成多种语言,从而吸引了更多的国际学生。另一家企业则利用这一技术为其宣传视频做了多语言配音,显著提升了市场推广效果。
sync.labs 的技术不仅在视频内容创作领域有着广泛的应用前景,还可以应用于虚拟主播、数字人客服等场景。通过实时推理,sync.labs 能够在各种设备上实现流畅的用户体验。
在实时唇语同步和多语言视频配音领域,sync.labs 并不是唯一的玩家。Eleven Labs 也是这一领域的重要竞争者。Eleven Labs 最近推出了全托管的 AI 自动配音服务,能够将各种短视频和长视频内容自动翻译成多种语言,包括西班牙语、印地语、法语、葡萄牙语、德语、阿拉伯语和波兰语等。该服务可以自动匹配用户的声音音调、音色和说话风格,支持不超过 10 个说话者的视频内容。平均自动翻译配音时间为 7 天,但在特殊情况下可当天完成。
sync.labs 的技术在唇语同步方面具有独特的优势。通过其先进的唇语同步模型,sync.labs 能够实现更加自然和逼真的唇语同步效果。
sync.labs 获得的 550 万美元种子轮融资将为其技术研发和市场拓展提供重要支持。

