什么是3D高斯溅射（3D Gaussian Splatting） – AI百科知识

3D 高斯溅射（3D Gaussian Splatting）是门挺新的三维场景表示和渲染方法，短短时间就跑出了很抢眼的进展，学术界盯得很紧，工业落地也在快速铺开。它的核心思路是用 3D 高斯函数来表示场景里的点：每个 3D 高斯靠几个参数描述——空间位置 μ（3D 向量）、协方差矩阵 Σ（3×3 矩阵）、颜色 c（RGB 向量）、不透明度 α。渲染时把这些 3D 高斯投到 2D 图像平面上，变成一个个椭圆状的”飞溅”(splat)，多个叠在一起的飞溅再做 alpha 混合，就合成出最终像素颜色。

3D 高斯溅射是什么

3D 高斯溅射（3D Gaussian Splatting）是一种新的三维场景重建和渲染技术，用 3D 高斯函数表示场景中的点，再把这些高斯投到 2D 图像平面上渲染。2023 年 Kerbl 等人先在 SIGGRAPH 会议上提出它，靠着又好的渲染质量又实时的性能，学术圈和工业界都在盯着。

3D 高斯溅射怎么运作

场景里每个点都交给一个 3D 高斯函数来代表，这个高斯由空间位置（μ，3D 向量）、协方差矩阵（Σ，3×3 矩阵）、颜色（c，RGB 向量）和不透明度（α）描述。这些 3D 高斯投到 2D 图像平面上，就成了一颗颗椭圆的“飞溅”（splat）。这步其实是把 3D 高斯转成 2D 高斯，靠投影雅可比矩阵（J）乘协方差矩阵来算，也就是 Σ2D = JΣJ^T。再把叠在一起的多颗飞溅做 alpha 混合，得到最终像素颜色：对平面上每个像素，算所有压到它上面的高斯各贡献多少，按各自的不透明度和颜色混合出结果。至于初始化，得从输入图像或点云里凑出一套合适的 3D 高斯分布，常用路子有基于 SfM 点云的稀疏初始化、体素网格采样，以及基于深度图的密集初始化。

参数要接着优化，主要盯四个目标：重投影误差最小化、几何一致性、视觉一致性，再加稀疏性正则化。想跑高帧率，得靠 GPU 并行、层次结构加速、视锥体剔除、自适应采样这些手段。碰上动态场景，就要引入时间这一维，把高斯参数随时间的变化建出来，常见做法有基于流场的变形、基于神经网络的动态建模、以及时空一致性约束。走完这些步骤，高斯溅射就能又快又好地重建三维场景、合出新视角。它的看家优势是连续性好、可微分、算得快、还能压缩，既吃 GPU 并行加速，又省存储。

3D 高斯溅射用在哪里

凭着这套性能，3D 高斯溅射在不少领域都铺得开：

• 虚拟现实与增强现实：高质量、实时的场景重建和渲染对VR/AR应用至关重要。3D高斯溅射可以提供沉浸感更强的用户体验。
• 计算摄影：通过3D重建，可以实现更高级的图像编辑和处理效果，如视角合成、重打光等。
• 机器人导航：3D高斯溅射可以为机器人提供更精确的环境感知和建图能力。
• 文化遗产数字化：高效、高质量的3D重建技术可以帮助保护和展示文化遗产。
• 电影特效：3D高斯溅射为电影制作提供了新的工具，可以更容易地创建逼真的虚拟场景。

3D 高斯溅射的难点

进展虽然亮眼，3D 高斯溅射眼下还有些技术坎没过：

• 大规模场景建模：如何高效处理大规模室外场景仍是一个开放问题。
• 动态场景建模：虽然已有一些初步工作，但动态场景的高质量重建仍面临挑战。
• 编辑与控制：如何实现对重建场景的精确编辑和控制需要进一步研究。
• 实时性能：虽然3D高斯溅射已经实现了实时渲染，但在移动设备等资源受限的平台上仍需优化。

3D 高斯溅射的未来

3D 高斯溅射（3D Gaussian Splatting）在三维场景表示、渲染和交互上的潜力很被看好，路子宽。它用 3D 高斯函数表示场景点、再投到 2D 平面渲染，就能高质量、高效率地把三维场景重建出来、合出新视角。往后，它有望在 VR/AR、计算摄影、机器人导航、文化遗产数字化、电影特效这些领域顶上大用。算法再打磨打磨、硬件再往上提一提，它会继续推着图形学和视觉往前走，多半还会往跟别的技術融合、跨模态学习、把泛化能力拉高、做智能编辑这些方向演进。