2024 年 8 月 14 日，阿里巴巴推出了 UniPortrait，一个能够快速生成个性化人物图像的框架。该框架通过输入描述性的文本生成所需风格的图像，还支持上传参考图片生成与其类似的风格，并且能够同时处理多个人物图像。
UniPortrait 框架通过两个核心模块实现了单个和多个人物的图像个性化：ID 嵌入模块和 ID 路由模块。ID 嵌入模块采用解耦策略，为每个 ID 提取可编辑的面部特征，并将这些特征嵌入到扩散模型的上下文空间中。ID 路由模块则负责将这些嵌入合并和分配到合成图像中的相应区域，从而实现单个或多个 ID 的定制。
UniPortrait 采用了两阶段训练方案。在第一阶段，模型会进行初步训练，学习如何提取和嵌入面部特征。在第二阶段，模型会进行细化训练，优化特征的合并和分配过程。
UniPortrait 的一个重要特点是其良好的可扩展性和兼容性。实验结果表明，UniPortrait 不仅能够生成个性化图像，还能够与现有的生成控制工具兼容。
UniPortrait 可以用于个性化头像生成、虚拟形象创建、数字艺术创作等领域。此外，UniPortrait 还可以与其他阿里巴巴相关项目结合使用，如 FaceChain 和 EMO，以实现图像和视频生成功能。FaceChain 主要用于生成个人写真和数字形象，而 EMO 则专注于音频驱动的肖像视频生成。UniPortrait 通过其 ID 嵌入模块和 ID 路由模块，实现了单人和多人的个性化图像生成，具有更广泛的应用场景和生成质量。