字节跳动发布OmniHuman-1 项目:一张照片和音视频就能生成逼真数字人视频

字节跳动发布OmniHuman-1 项目:一张照片和音视频就能生成逼真数字人视频

800_auto

字节跳动近日宣布推出 OmniHuman-1 项目,旨在通过创新的多模态技术重新思考和解决传统人体动画模型的扩展问题。

OmniHuman 是一个端到端的多模态条件人体视频生成框架,能够基于单张人体图像和运动信号(如音频、视频或音视频组合)生成高质量的人体视频。

OmniHuman 的核心优势在于其多模态运动条件混合训练策略。该策略通过结合多种输入信号,克服了以往端到端方法面临的高质量数据稀缺性问题,使得模型能够从混合条件的数据扩展中受益。

800_auto

这一创新使得 OmniHuman 在生成高度...

点击查看剩余70%

{{collectdata}}

网友评论