摘要

本文介绍了一种名为AutoSplat的先进框架，专门用于自动驾驶场景的逼真重建和视图合成。该框架通过使用高斯溅射技术，结合几何约束和动态外观模型，实现了对复杂驾驶场景的高质量重建和多视角一致性模拟。AutoSplat在Pandaset和KITTI数据集上的广泛实验表明，其性能优于现有最先进的方法，特别是在场景重建和新视图合成方面。

原理

AutoSplat框架的核心在于利用3D高斯溅射（3DGS）技术，通过几何约束和动态外观模型来实现自动驾驶场景的逼真重建。具体来说，该框架通过以下几个关键步骤实现其先进性：

1. 几何约束：对代表道路和天空区域的高斯进行几何约束，确保这些区域在多视角下的渲染一致性。
2. 反射高斯一致性约束：利用3D模板初始化前景物体的高斯，并通过反射高斯一致性约束来监督前景物体对称不可见部分的重建。
3. 动态外观模型：通过估计每个前景高斯的残差球谐函数，捕捉前景物体的动态外观变化。

流程

AutoSplat的工作流程主要包括以下几个步骤：

1. 背景重建：使用3DGS技术从稀疏传感器数据中重建背景，特别是对道路和天空区域进行几何约束。
2. 前景重建：利用3D模板初始化前景物体的高斯，并通过反射高斯一致性约束和动态外观模型进行优化。
3. 场景级融合：将前景和背景高斯融合，形成一个统一的场景表示，并通过优化进一步减少融合时的畸变。

应用

AutoSplat框架的应用前景广泛，特别是在自动驾驶系统的安全关键场景模拟中。其能够提供高度逼真的场景重建和新视图合成，有助于自动驾驶系统的开发和测试，尤其是在处理复杂和动态的驾驶环境时。