腾讯混元发布并开源语音数字人模型HunyuanVideo-Avatar
5月28日消息，腾讯混元发布并开源语音数字人模型HunyuanVideo-Avatar。据悉，这一模型由腾讯混元视频大模型（HunyuanVideo）及腾讯音乐天琴实验室MuseV技术联合研发，支持头肩、半身与全身景别，以及多风格、多物种与双人场景，面向视频创作者提供高一致性、高动态性的视频生成能力。
用户可上传人物图像与音频，HunyuanVideo-Avatar模型会自动理解图片与音频，比如人物所在环境、音频所蕴含的情感等，让图中人物自然地说话或唱歌，生成包含自然表情、唇形同步及全身动作的视频。
HunyuanVideo-Avatar适用于短视频创作、电商与广告等多种应用场景，可以生成人物在不同场景下的说话、对话、表演等片段，快速制作产品介绍视频或多人互动广告，降低制作成本。
HunyuanVideo-Avatar不止能驱动人物图像，还能在此基础上保证视频中主体一致性以及视频的整体动态性。用户可以上传复杂人物图像并上传匹配音频。
在主体一致性、音画同步方面，HunyuanVideo-Avatar效果超越开闭源方案，处在业内顶尖水平；在画面动态、肢体自然度方面，效果超越开源方案，和其他闭源方案处在同一水平。
相比传统工具仅限于头部驱动，HunyuanVideo-Avatar 还支持半身或全身场景，显著提升视频的真实感和表现力。同时，HunyuanVideo-Avatar 支持多风格、多物种与多人场景，包括赛博朋克、2D动漫、中国水墨画，以及机器人、动物等。
在多人互动场景中，HunyuanVideo-Avatar 展现出优异性能。无论是日常对话、相声表演还是对唱场景，模型能精准驱动多个角色，确保唇形、表情和动作与音频同步，互动自然。
HunyuanVideo-Avatar 的核心优势源于多个技术创新，是由腾讯混元团队与腾讯音乐天琴实验室合作的混元MuseV联合项目组持续共同研发的成果，包括其角色图像注入模块，基于多模态扩散Transformer（MM-DiT）架构，确保角色一致性与视频动态性；其音频情感模块会从音频和参考图像提取情感信息，生成细腻的表情和动作；面部感知音频适配器，通过人脸掩码技术隔离角色音频，实现多人场景的精准驱动。
页:
[1]