InfiniteTalk - 美团开源的数字人视频生成框架

InfiniteTalk是什么

InfiniteTalk是美团视觉智能部推出的新型数字人驱动技术，走的是稀疏帧 video dubbing 范式：只要少量关键帧，就能驱动数字人产出自然流畅的视频，传统方案里口型、表情和肢体动作对不上的问题被解决掉。InfiniteTalk出来的数字人视频更自然，看着有代入感，生成效率高、成本低。论文、代码和权重都已开源，做数字人技术的人可以直接参考。

InfiniteTalk的主要功能

• 高效驱动虚拟人：少量关键帧就能精准驱动虚拟人出片，口型、表情和肢体动作能同步上。
• 多样化场景适配：虚拟主播、客服、演员这些角色都适配，各行业用起来的效率和成本比较合算。
• 高效率视频生成：稀疏帧驱动加上时间插值，高质量视频出得快，制作的时间和成本省下来一大截。

InfiniteTalk的技术原理

• 稀疏帧video dubbing范式：稀疏帧驱动只抓少量关键帧，人物的口型、表情和动作变化都收在这些帧里。关键帧之间的间隔由时间插值算法合理填充，中间帧补出来后就是完整的视频序列。融合技术再把动作、表情、口型自然过渡到中间帧，视频连得起来。
• 多模态融合与优化：文本、音频、视觉三种信息放在一起处理。比如先用语音识别把音频里的说话内容提出来，再结合文本，虚拟人的口型和表情控制得更准。深度学习的优化算法负责微调动作、表情和口型，画面对得上输入的音频和文本，视频看着更真。
• 高效的计算架构：模型做成轻量化，算力消耗少了，性能不掉。视频生成里的多个任务用并行计算一起处理，速度和效率再往上走。

InfiniteTalk的项目地址

• 项目官网：https://meigen-ai.github.io/InfiniteTalk/
• GitHub仓库：https://github.com/MeiGen-AI/InfiniteTalk
• HuggingFace模型库：https://huggingface.co/MeiGen-AI/InfiniteTalk
• arXiv技术论文：https://arxiv.org/pdf/2508.14033

InfiniteTalk的应用场景

• 虚拟主播：新闻、综艺、直播都能上虚拟主播，24小时不间断播报，节目效率和看点都有了。
• 影视制作：电影、电视剧里虚拟角色可以快速生成，动作捕捉也省一道，制作成本和时间压下来。
• 游戏开发：游戏里的虚拟角色生成时，动作更自然流畅，玩起来的沉浸感更强。
• 在线教育：虚拟老师可以上线，在线答疑、课程讲解都能做，教学跟着学生的节奏走。
• 培训模拟：企业培训能搭虚拟场景，客服、销售这些岗位在模拟环境里练手。