HeyGen 于 2024 年 9 月 22 日推出了一款视频内文本翻译工具，能够翻译用户的声音、屏幕上的文字和字幕。该工具具备自动文本检测功能，可以将视频中的文本即时翻译成用户选择的语言，并通过 AI 进行文本与视频风格匹配。该功能适用于多语言内容创作者和国际市场的企业用户。
用户只需上传视频，选择目标语言，点击翻译按钮，AI 就会自动检测视频中的文本并进行翻译。翻译完成后，用户可以下载或在线分享翻译后的视频。该工具能够识别视频中的各种文本元素，包括字幕、屏幕上的文字和图像中的文字，简化了视频翻译的流程。用户无需手动标记文本位置，AI 会自动完成这一过程。此外，HeyGen 还具备文本与视频风格匹配功能，确保翻译后的文本与原视频的风格一致。
HeyGen 的多语言支持也是其一大特点。该工具支持多达 20 种语言的翻译，包括英语、西班牙语、法语、德语、中文、日语等。用户可以根据需要选择目标语言，AI 会自动进行翻译并同步口型和语音。除了翻译功能，HeyGen 还提供了一些高级设置，用户可以根据个人需求进行调整。例如，用户可以选择是否保留原视频的字幕，或者将字幕翻译成目标语言。此外，HeyGen 还支持多种视频格式，用户可以上传不同格式的视频进行翻译。
HeyGen 背后的公司名叫诗云科技，成立于 2020 年。公司创始人 Joshua Xu 曾在 Snapchat 担任主要工程师，负责机器学习领域。自 2022 年 7 月产品发布以来，HeyGen 的年度经常性收入（ARR）从 100 万美元增长到超过 3500 万美元，并且自第二季度以来一直盈利。HeyGen 已协助了全球 4 万多名付费企业客户，包括麦当劳、日本横须贺市市长、慧咨环球和阿根廷总统米莱等。
HeyGen 的技术核心在于其 AI 驱动技术，能够将静态的视频、文本和图像转化为动画效果。用户只需进行简单的操作，就能让角色按照预期方式移动，简化了视频创作流程。HeyGen 的多语言支持和口型同步技术是其一大特点。通过利用人工智能技术，HeyGen 能够实时重新绘制说话者的嘴巴，确保翻译文本与嘴唇动作对齐。这一技术已经在电影翻译、广告制作和教育培训等多个领域得到了应用。