阿里开源影视无声视频自动配音对口型模型Fun?CineForge-BFW编程笔记

阿里开源影视无声视频自动配音对口型模型Fun?CineForge

近日，阿里巴巴通义实验室 FunAudioLLM 团队正式发布 Fun?CineForge，这是业界首个面向复杂影视场景、支持零样本视频配音的多模态大模型与全流程工具链，同步开源推理代码、模型权重及大规模影视配音数据集 CineDub。

800_auto
Fun?CineForge 直击传统 AI 配音唇形不准、情感生硬、数据集质量低、复杂场景适配差等行业痛点，构建端到端大规模配音数据集生产流水线，并基于多模态大模型架构，实现精准唇同步、高保真音色克隆、情感可控与多人对话自然对齐。模型可覆盖独白、旁白、对话、多说话人等全类型影视场景，兼容镜头切换、面部遮挡、远景、暗光等真实拍摄条件，在语音质量、唇同步精度、指令遵循度上全面超越现有最优方案。