摘要

本文介绍了一种名为AutoSplat的先进框架，专门用于自动驾驶场景的现实重建和视图合成。该框架通过使用3D高斯喷洒（3D Gaussian Splatting, 3DGS）技术，结合几何约束和动态外观模型，实现了对复杂驾驶场景的高质量重建和多视角一致性模拟。AutoSplat在Pandaset和KITTI数据集上的广泛实验表明，其性能优于现有最先进的方法，特别是在场景重建和新视图合成方面。

原理

AutoSplat框架的核心在于其对3DGS的创新应用，通过几何约束确保道路和天空区域的多视角一致性，同时利用3D模板和反射高斯一致性约束来重建前景对象的不可见部分。此外，通过估计每个前景高斯的残差球谐函数，AutoSplat能够捕捉前景对象的动态外观变化。这些技术的结合使得AutoSplat能够在保持高渲染速度的同时，实现对动态驾驶场景的精确模拟。

流程

AutoSplat的工作流程分为三个主要阶段：背景重建、前景重建和场景级融合。在背景重建阶段，通过几何约束确保道路和天空区域的多视角一致性。前景重建阶段则利用3D模板初始化高斯，并通过反射高斯一致性约束来监督不可见部分的重建。最后，在场景级融合阶段，将前景和背景高斯进行融合，以生成一个统一的、精细的场景表示。例如，在车辆变道场景中，AutoSplat能够准确地重建车辆的动态外观和背景的连续性。

应用

AutoSplat的应用前景广泛，特别是在自动驾驶系统的安全关键场景模拟中。其能够为自动驾驶车辆提供高度真实的虚拟测试环境，有助于识别和解决在实际驾驶中可能遇到的各种复杂情况。此外，AutoSplat的技术也可扩展到其他需要高精度场景重建和视图合成的领域，如虚拟现实和增强现实。