Live Avatar - 阿里联合高校开源的实时数字人模型

Live Avatar是什么

Live Avatar 是阿里巴巴联合多所高校推出的实时数字人模型，能通过音视频驱动生成无限时长的数字人视频。Live Avatar 的底座是一个 140 亿参数的扩散模型，生成走 20FPS 实时流式路线，可以稳定输出 10000 秒以上，长时间生成也不容易出现面部漂移和色彩失真。电商直播、新闻播报、虚拟助手这类场景都能用，延迟低，画面保真度也够。

Live Avatar的主要功能

• 实时音视频驱动：用麦克风和摄像头捕捉用户的语音与表情动作，数字人的口型、表情跟着同步响应，面对面交互的延迟很低。
• 无限时长稳定生成：支持 10,000 秒以上的连续视频生成，全程保持数字人的面容、肤色、风格一致，不会出现身份漂移或画质下降。
• 高保真画质：靠 140 亿参数的扩散模型生成，数字人画面细节丰富，清晰自然。
• 流式生成：用的是流式处理技术，实时视频流可以连续扩展，适合直播这类实时场景。

Live Avatar的技术原理

• 扩散模型优化：在 140 亿参数的扩散模型上，用 Distribution Matching Distillation（分布匹配蒸馏）把多步双向扩散模型转成 4 步流式扩散模型，生成速度明显加快。再用 Timestep-forcing Pipeline Parallelism（时间步强制流水线并行）把去噪阶段解耦，分配到多个设备上，加速随设备数线性增长，也撑得住大规模并行计算。
• 无限时长生成机制：
  • 滚动 RoPE（Relative Positional Encoding）：动态更新参考帧的相对位置编码，让生成帧与参考帧的相对位置保持不变，身份就不会漂移。
  • 自适应注意力池（Adaptive Attention Sink）：把初始参考帧换成生成帧，去掉引起分布漂移的持续因素，生成帧的分布保持稳定。
  • 历史干扰机制：往 KV 缓存里注入噪声，模拟推理中出现的误差，让模型从历史帧提取运动信息、从参考帧提取稳定细节，误差不会越积越多。
• 实时交互技术：输入来自麦克风和摄像头，音频和视频信号实时驱动数字人模型，交互响应延迟很低。对生成速度和延迟做了优化，实时生成达到 20FPS，首帧延迟 2.89 秒，交互过程流畅。

Live Avatar的项目地址

• 项目官网：https://liveavatar.github.io/
• GitHub仓库：https://github.com/Alibaba-Quark/LiveAvatar
• HuggingFace模型库：https://huggingface.co/Quark-Vision/Live-Avatar

Live Avatar的应用场景

• 电商直播：Live Avatar 可以做到 7×24 小时不间断的产品展示与讲解，不用真人主播轮流值守，人力成本也省了。
• 新闻播报：支持自动生成虚拟主播播报新闻，多语言视频也能快速产出，新闻的时效性更好。
• 娱乐直播：虚拟偶像借助 Live Avatar 做实时互动表演，还能举办线上演唱会，和观众的互动也更直接。
• 智能客服：数字人客服实时回答用户提问，一天 24 小时都能提供服务，用户不用排队等人工。
• 银行柜员：虚拟金融顾问负责标准化的业务咨询，也能辅助人工服务，银行的运营压力小一些。