CAT4D - 谷歌和哥伦比亚大学等高校推出的单目视频创建4D场景方法

CAT4D是什么

CAT4D是Google DeepMind、哥伦比亚大学和加州大学圣地亚哥分校一起做的工作，输入单目视频就能建出4D场景（会动的3D）。CAT4D的底座是多视图视频扩散模型：给定相机姿态和时间点就能合成新视图，先把单目视频转成多视图视频，再做比较稳的4D重建。CAT4D既能从真实视频生成4D场景，也能从生成的视频做4D内容，电影、游戏、虚拟现实这些方向都用得上。

CAT4D的主要功能

• 4D场景创建：输入一段单目视频，真拍的还是计算机生成的都行，出来就是4D（动态3D）场景。
• 多视图视频生成：给一段单目视频，输出新视点的多视图视频。
• 动态3D场景重建：拿生成的多视图视频去重建动态变化的3D场景，这些场景可以表示成随时间变形的3D高斯模型。
• 分离相机和时间控制：CAT4D的核心是多视图视频扩散模型，相机视点控制和场景动态控制是分开的，视角和时间变化能各调各的。
• 实时渲染：配了交互式查看器，浏览器里就能实时渲染4D场景，看的时候比较直观。

CAT4D的技术原理

• 多视图视频扩散模型：模型接一组输入视图，图像、相机参数和时间信息都在里面，输出指定视点和时间的目标帧。
• 数据集训练：动态场景的多视图训练数据很少，所以CAT4D混着用真实和合成数据源：静态场景的多视图图像、固定视点视频、合成4D数据等。
• 新视角合成：按输入的单目视频，在新的时间点和视点合成场景外观，单目进、多视图出。
• 优化可变形3D高斯表示：多视图视频用来优化一个可变形的3D高斯表示，动态3D模型就这么重建出来，场景的动态变化捕捉得到。
• 分离控制：CAT4D把相机运动和场景动态分开控制，给一张输入图，就能生成不同时间、不同视点的输出序列。
• 交替采样策略：多视图视频要足够一致，4D重建才准。CAT4D用一种交替采样策略，在多视图采样和时间采样之间来回切，时间和视点的一致性就有保障。

CAT4D的项目地址

• 项目官网：cat-4d.github.io
• arXiv技术论文：https://arxiv.org/pdf/2411.18613

CAT4D的应用场景

• 电影和视频制作：电影和视频制作里，可以从现成的2D视频建3D场景，加视觉特效，也能生成新视角和场景动态。
• 游戏开发：游戏环境能做得更真、更动态，玩家体验也更丰富。
• 虚拟现实（VR）和增强现实（AR）：3D环境和对象做得逼真，用在虚拟现实和增强现实应用里，沉浸感更足。
• 3D建模和设计：设计师从已有视频资料里提取、重建3D模型，产品设计和原型制作能快一些。
• 教育和培训：教学场景下可以把历史事件、科学现象做成动态3D重现，学生看着更直观。