SoulX-LiveAct - Soul App开源的实时数字人生成框架

SoulX-LiveAct是什么

SoulX-LiveAct 是Soul App AI团队开源的实时数字人生成框架，解决AR扩散模型流式生成时的稳定性问题。核心创新有两点：Neighbor Forcing让相邻帧对齐扩散步数，保证画面一致；ConvKV Memory机制把显存占用压到恒定，支持小时级乃至无限时长生成。双卡H100/H200即可跑到20 FPS，延迟0.94秒。适用于直播、虚拟客服、播客等场景。

SoulX-LiveAct的主要功能

• 实时人像动画生成：按音频和文本条件实时生成数字人视频，唇同步准确，面部表情自然，肢体动作协调。
• 小时级/无限时长视频：恒定显存机制绕开了传统模型的时长限制，小时级甚至无限时长的连续视频流也能稳定生成。
• 情感与动作可控编辑：用文本指令控制头部姿态、手势和表情，比如心形手势、捂脸、大笑，身份和唇同步保持稳定。
• 低延迟流式推理：双卡H100/H200就能实现20 FPS实时输出，端到端延迟0.94秒，直播、虚拟客服这类实时交互场景够用。

SoulX-LiveAct的技术原理

• Neighbor Forcing：传统AR扩散模型在相邻帧用不同的扩散步数，分布对不上，画面就会抖。Neighbor Forcing要求相邻帧在相同扩散步下生成，把前一帧的潜变量当作当前帧的条件输入，让整个生成过程待在同一套噪声空间里，跨步对齐的问题随之消失，时序也就连贯了。
• ConvKV Memory：长视频的显存瓶颈，来自KV缓存随帧数线性增长。ConvKV Memory走”短期精确+长期压缩”的路子：最近几帧保留高精度KV缓存，保证连贯；历史帧用1D卷积（压缩比5:1）压成固定长度的记忆，再重置RoPE位置编码。
• 端到端性能优化：系统用自适应FP8精度压低计算量，序列并行把多卡算力吃满，算子融合则减少内存访问开销。三处一起下手，做到20 FPS实时推理，每帧27.2 TFLOPs，计算成本比同类方法低30%-45%。

SoulX-LiveAct的关键信息和使用要求

• 项目定位：Soul App AI Lab开源的实时交互数字人框架，针对AR扩散模型流式生成时的稳定性和时长限制，支持小时级乃至无限时长的视频合成。
• 核心突破 – Neighbor Forcing：相邻帧对齐到相同扩散步，消除分布不一致带来的画面抖动。
• 核心突破 – ConvKV Memory：显存占用恒定，时长不再受显存牵制。
• 核心突破 – 实时性能：20 FPS流式推理，延迟0.94秒。
• 实测表现 – 分辨率：512×512 或 720×416。
• 实测表现 – 帧率：20 FPS。
• 实测表现 – 延迟：0.94秒。
• 实测表现 – 计算成本：27.2 TFLOPs/帧。
• 推荐配置 – GPU：2× NVIDIA H100 或 H200。
• 推荐配置 – 环境：Python 3.10，CUDA支持。
• 推荐配置 – 关键依赖：SageAttention（FP8注意力）、vLLM（FP8 GEMM）、LightVAE。
• 消费级显卡 – 适用型号：RTX 4090/5090 单卡。

SoulX-LiveAct的核心优势

• Neighbor Forcing 技术：把相邻帧对齐到相同扩散步，传统AR扩散模型里因分布不一致产生的抖动就没了，生成过程稳定连贯。
• ConvKV Memory 机制：按”短期精确+长期压缩”的思路，把历史KV缓存压成固定长度，显存占用恒定，时长瓶颈随之解除，小时级甚至无限时长生成不成问题。
• 实时流式推理：双卡H100/H200即可做到20 FPS实时输出，端到端延迟0.94秒，直播等实时交互场景可以满足。
• 低计算成本：每帧27.2 TFLOPs，计算成本比同类方法低30%-45%，画质和效率都照顾到了。
• 长时一致性：小时级视频里，人物身份稳定，关键细节不丢，口型保持同步，身份漂移、配饰忽隐忽现这些问题基本不会出现。

如何使用SoulX-LiveAct

• 环境准备：用conda建一个名为liveact的Python 3.10环境，然后激活。
• 安装基础依赖：pip安装requirements.txt里的依赖，再用conda装上sox音频处理工具。
• 安装SageAttention：克隆SageAttention仓库，切到v2.2.0，运行setup.py安装，FP8注意力加速就启用了。
• 安装QKV算子融合版本（可选）：克隆SageAttentionFusion仓库并安装，算子融合性能还能再提一截。
• 安装vLLM：pip安装vLLM 0.11.0，FP8 GEMM矩阵运算支持就齐了。
• 安装LightVAE：克隆LightX2V仓库，运行setup_vae.py，装上视频编解码组件。
• 下载模型权重：从Hugging Face或ModelScope把SoulX-LiveAct模型文件下到本地目录。
• 下载音频编码器：下载chinese-wav2vec2-base这个音频特征提取模型。
• 双卡H100/H200实时推理：设好环境变量，用torchrun拉起双卡分布式推理，指定模型路径、音频编码器路径和输入JSON文件，开启20 FPS流式音频生成。
• 支持动作/表情编辑的推理：分辨率和帧率分别设为512×512、24 FPS，加载带编辑指令的example_edit.json，生成可控制的表情动作。
• RTX 4090/5090消费级显卡运行：单卡模式打开FP8 KV缓存、显存块卸载和T5文本编码器CPU offload，把显存占用压下来，消费级显卡也能跑。
• 准备输入数据：编辑JSON配置，填好参考图像路径、驱动音频路径、情感动作文本提示这些生成参数。
• 启动实时流式生成：执行推理命令，系统会跟着音频输入实时输出数字人视频流，唇同步和表情动作都对得上。

SoulX-LiveAct的项目地址

• 项目官网：https://soul-ailab.github.io/soulx-liveact/
• GitHub仓库：https://github.com/Soul-AILab/SoulX-LiveAct
• HuggingFace模型库：https://huggingface.co/Soul-AILab/LiveAct
• arXiv技术论文：https://arxiv.org/pdf/2603.11746

SoulX-LiveAct的同类竞品对比

对比维度	InfiniteTalk	Live-Avatar	OmniAvatar	SoulX-LiveAct
推理效率
吞吐量	25 FPS	20 FPS	–	20 FPS
延迟	3.20 s	2.89 s	–	0.94 s
GPU数量	8	5	–	2
每帧TFLOPs	50.2	39.1	–	27.2
长时生成能力
显存占用	线性增长	线性增长	线性增长	恒定
最大时长	受显存限制	受显存限制	受显存限制	无限
身份一致性	后期漂移	逐渐漂移	严重漂移	稳定保持
口型同步	后期失配	逐步失配	失配严重	持续精准
配饰/纹理一致性	忽隐忽现	细节丢失	严重丢失	持续稳定

SoulX-LiveAct的应用场景

• 直播场景：模型实时生成数字人主播，7×24小时不间断直播，口型和语音同步，表情也不呆板，电商带货、娱乐直播、知识分享都能用。
• 虚拟客服：全天候在线，数字人形象前后一致，能撑住长时间对话，企业人力成本降下来，服务体验也更好。
• 播客/对话节目：双人对谈、访谈节目都能做，面部表情和肢体语言实时生成，嘉宾形象可编辑，内容产出速度快。
• FaceTime/视频通话：虚拟社交、在线教育、远程会议这些B端场景都能用，延迟0.94秒，交互不卡。