TalkLikeYou – 中科院自动化所开源的实时数字人框架

TalkLikeYou是个什么项目

TalkLikeYou 是中科院自动化所开源的一套实时数字人框架：喂一张照片加一段音频，照片里的人就能开口说话，而且嘴部动作会照着指定真人的说话习惯来。它靠运动空间建模加一步采样做到实时生成，想定制习惯可以用预设编号，也可以丢一段参考视频，还专门提了个指标来量化"模仿得像不像"。代码和权重全数开源。

TalkLikeYou能做什么

• 照片说话：传一张人像照片配一段音频，就能得到人物开口说话的视频。
• 习惯模仿：指定真人的嘴部说话习惯可以复刻，给个预设编号或一段4秒参考视频就行。
• 实时生成：靠一步采样技术，生成速度跑到32.43 FPS，实时流式输出也撑得住。
• 视频配音：视频里人物的嘴部动作可以整体替换，头部动作和时序原样保留，做多语言配音正合适。
• 对话数字人：接上大模型和语音识别合成，就能得到一个能实时对话的数字分身。
• 风格化驱动：不止真人，素描、油画、动漫、3D角色这类非写实人像也照样驱动。

TalkLikeYou背后是怎么实现的

• 运动空间建模：它不在像素空间里直接生成图像。TalkLikeYou 先把照片解析成一组运动参数，说话动作的学习和生成都在这组轻量数字上完成，最后由渲染器合回视频——速度和身份稳定性两头都占到了。
• 一步 Flow Matching 采样：用 Flow Matching 学出一条从噪声直奔目标的直线路径，配合重参数化直接预测干净的运动序列。只走一步采样，唇同步质量却接近 50 步的水准，32.43 FPS 的实时速度就是这么来的。
• 统一习惯空间：搭了一个可以插值的低维习惯向量空间——数据集里真人的嘴部运动统计被压成 one-hot 编码，参考视频则由习惯提取器编进同一个空间。两个入口随便切，还能插值混出"中间态"习惯。
• 两阶段训练策略：第一阶段在 380 人规模的 HDTF 上用 one-hot 编码学”什么是习惯”；第二阶段转到大规模 CelebV-HQ，改用参考视频练泛化，同时周期性回放 one-hot 数据防遗忘。一套下来，习惯相似度从 0.33 拉到 0.64。
• PLAD 评估指标：把嘴部运动投影到张嘴幅度、嘴唇收拢、嘴唇拉宽三条发音轴上，用分布直方图跟参考人比对算相似度。"说话习惯像不像"这件事，第一次有了量化标准。

怎么把TalkLikeYou跑起来

• 环境准备：系统用 Linux，装好 Python 3.10 + CUDA 12.1 + FFmpeg，NVIDIA 显卡显存至少留 12GB。
• 下载代码：从 GitHub 把 TalkLikeYou 主仓库 clone 下来。
• 安装依赖：跑 conda env create -f environment.yaml 建好环境并激活；不想用 conda 的话，自己装 CUDA 版 PyTorch，再执行 pip install -r requirements.txt。
• 下载权重：用 Hugging Face 命令 hf download doubi-killer/TalkLikeYou ，把模型权重拉到仓库根目录。
• 准备素材：一张人像照片（或视频）加一段音频，注意输入视频得是 25 FPS。
• 运行推理：执行 python -m talklikeyou --source 照片 --audio 音频 --person-id 192 --sampling-steps 1 出视频；把 --person-id 换个数字，说话习惯就跟着换。
• 自定义习惯：把 --person-id 换成 --habit-reference ，指向一段不少于 100 帧的参考视频，就能模仿视频里这个人的说话习惯。
• 视频配音： --source 指向视频文件，再加一个 --pose-mode source，只换嘴部动作，原始头部动作原样保留。

TalkLikeYou强在哪

• 说话习惯专属模仿：开源圈里头一个把个人嘴部说话习惯当一等公民来建模的框架，编号、视频都能指定，终于告别”千人一面”的平均嘴。
• 实时速度快：一步 Flow Matching 采样跑出 32.43 FPS，比走图像扩散路线的 Sonic快近百倍，单张 RTX 3090 上显存还占不到 4GB。
• 画质与同步兼优：FID 7.71，连第二名的三分之一都不到；Sync-C 8.73 全场最高。唇部同步和画面质量这次不用二选一。
• 习惯相似度领先：PLAD 指标上习惯相似度 0.62，把 MimicTalk（0.48）、PC-Talk（0.39）这些竞品甩开一截。
• 两入口灵活定制：官方预设编号可以零成本换风格，任意参考视频也能现学现用，两个入口还能插值混出新习惯。

TalkLikeYou的项目地址在哪

• 项目官网：https://bq-wang0511.github.io/TalkLikeYou/
• GitHub仓库：https://github.com/BQ-Wang0511/TalkLikeYou
• HuggingFace模型库：https://huggingface.co/doubi-killer/TalkLikeYou
• arXiv技术论文：https://arxiv.org/pdf/2610.06658

TalkLikeYou和同类竞品比一比

TalkLikeYou能用在哪里

• 虚拟主播/直播带货：带个人说话习惯的虚拟主播，成本低就能立起来，4GB 显存本地实时跑，真人压根不用出镜。
• 多语言视频配音：换嘴部动作、保原有头动和时序，译制片、出海内容的口型跟目标语言就能自然对上。
• 数字分身/虚拟客服：大模型加语音合成拼出实时对话分身，在线客服、智能导览这些要”面对面”的场合正好用得上。
• 个性化教育/培训：给老师或培训师做个专属数字形象，把他们的说话风格原样复刻，录课、远程教学都合适。