最近,一款能够实时生成肖像动画的在线工具引起了不少关注。只需打开摄像头,网页就能根据捕捉到的表情生成肖像动画,还能选择不同的人物形象。这款工具的基础模型是来自快手公司的 LivePortrait。
LivePortrait 模型融合了生成式对抗网络(GAN)和 Transformer 模型,能够将静态肖像图像转化为动态动画,并控制动画的各个细节。此外,该模型在计算性能上也表现良好,让整个过程流畅。
LivePortrait 模型是快手科技联手中国科学技术大学和复旦大学共同开发的。它基于隐式关键点框架,结合了生成式对抗网络(GAN)和 Transformer 模型,专注于高效的肖像动画生成。通过拼接和重定向模块,模型能控制眼睛和嘴唇的运动。而且,生成速度较快,在 RTX 4090 GPU 上,每帧只需 12.8 毫秒。
用户可以变换表情,网页会实时生成相应的动画。此外,工具提供多种人物选择,用户可以通过文本提示控制动画中的表情和动作。
LivePortrait 模型在娱乐和社交媒体领域有应用。用户可以用它生成动态肖像,然后分享到社交媒体上。
在教育领域,LivePortrait 模型可以制作教学视频,提高学习体验。它能把静态图像变成动态视频,让老师展示教学内容。在广告领域,LivePortrait 模型也有应用。它能够制作广告内容,通过动画效果提高广告的吸引力和效果。
LivePortrait 模型在电影和游戏制作中也有应用。在电影制作中,它可以生成动画角色,提升影片的视觉效果和质量。对于游戏开发者来说,LivePortrait 模型能生成角色动画,增强游戏的沉浸感和用户体验。