SynCamMaster - 快手联合浙大、清华等机构推出的多视角视频生成模型

SynCamMaster是什么

SynCamMaster 是全球首个多视角视频生成模型，由浙江大学、快手科技、清华大学和香港中文大学的研究人员合作推出。它结合6自由度相机姿势，可以从任意视点生成开放世界视频。SynCamMaster 增强的是预训练的文本到视频模型，不同视点之间的内容一致性有保障，支持多摄像机视频生成。靠插件式模块和多视图同步模块，视点之间的动态同步做得下来，4D一致性也能保持。它还可以扩展到新视角视频合成，把输入视频重新渲染，换成新视角来观看。

SynCamMaster的主要功能

• 多视角视频生成：同一个动态场景，可以从不同视角生成出多个视频。
• 视点间动态同步：多个视角之间保持动态同步，不同摄像机生成的视频在时间和空间上内容都对得上。
• 开放世界视频生成：开放世界的视频，任意视角都能生成。
• 6自由度相机姿势：结合6自由度（6 DoF）相机姿势，从任意视角捕捉场景都行。
• 预训练模型增强：即插即用的模块给预训练的文本到视频模型做了增强，直接就能用于多相机视频生成。
• 新视角视频合成：SynCamMaster可以扩展去做新视角视频合成：把参考视频引入多相机视频生成模型，输入视频就能从新视角重新渲染出来。

SynCamMaster的技术原理

• 预训练的文本到视频模型：底座是预训练的文本到视频扩散模型，按文本描述生成一致的3D视频内容。
• 多视图同步模块：多视图同步模块会被集成进每个Transformer块，负责维护不同视角之间的外观和几何一致性。
• 相机编码器：相机的外部参数（如旋转矩阵、平移向量）由相机编码器编码，映射到和空间特征同维度的嵌入空间里。
• 交叉视角自注意力：多视图同步模块里有交叉视角自注意力层，把不同视角的特征聚合起来，视角之间的信息就这样流动、同步。
• 混合训练数据集：混合训练方案设计了一种：多相机图像、单目视频、虚幻引擎渲染的多相机视频，三种数据结合着用。
• 渐进式训练策略：渐进式训练策略会让训练中不同视角的相对角度差异一点点加大，视角差异很大时模型照样有好的性能。

SynCamMaste的项目地址

• 项目官网：jianhongbai.github.io/SynCamMaster
• GitHub仓库：https://github.com/KwaiVGI/SynCamMaster
• arXiv技术论文：https://arxiv.org/pdf/2412.07760

SynCamMaster的应用场景

• 虚拟拍摄：影视制作中可以从多个角度生成视频，导演和制作团队能借此预览场景，复杂的镜头组合也做得出来。
• 游戏开发：游戏开发者可以做动态预告片或演示视频，展示游戏环境和角色在不同视角下的互动。
• 虚拟现实（VR）和增强现实（AR）：VR、AR应用里，它可以生成跟着用户视角变化保持一致的动态内容，沉浸感更强。
• 模拟训练：驾驶模拟、手术模拟这类需要多角度观察的场景，它能提供不同视角的实时视频，训练效果更好。
• 监控系统：安防监控中可以把多个摄像头的视频流整合起来，生成统一视角的视频，监控人员看事件发展更省力。