复旦大学与微软合作开源了首个端到端身份一致性人类视频生成框架 StableAnimator

复旦大学与微软合作开源了首个端到端身份一致性人类视频生成框架 StableAnimator

800_auto

近年来,扩散模型在图像与视频合成领域展现出强大能力,特别是在人物图像动画方面,能够基于预设姿态驱动参考图像生成动态视频。

然而,现有方法在处理复杂动作变化时面临诸多挑战,如身份一致性受损、视频质量下降以及空间与时间建模的矛盾。

复旦大学与微软合作开源了首个端到端身份一致性人类视频生成框架 StableAnimator

技术创新

StableAnimator 在 Stable Video Diffusion (SVD) 模型基础上构建,通过三条并行的特征提取与融合路径确保人物身份特征一致性:

800_auto

全局内容感知面部编码器(G...

点击查看剩余70%

{{collectdata}}

网友评论