摘要

本文介绍了一种名为“轻量级预测性3D高斯喷洒”的新型表示方法，由Snap Inc.的研究团队开发。该方法通过显著减少存储需求，同时保持或提升渲染质量，解决了大规模场景表示中高斯喷洒存储成本高昂的问题。传统的3D高斯喷洒方法在渲染速度上表现出色，但在存储和传输方面成本极高，限制了其在资源受限设备上的应用。新方法通过识别场景中相邻点共享相似表示的特性，仅存储一小部分关键点（称为父点），并利用小型多层感知机（MLPs）预测其余点（子点）及其属性，从而大幅减少硬盘占用，同时保持高质量的渲染效果。该技术不仅适用于移动设备上的实时渲染，还展示了在资源受限设备上广泛应用的潜力。

原理

轻量级预测性3D高斯喷洒方法的核心在于利用场景中点的空间相关性。该方法首先识别并存储场景中的关键点（父点），然后通过小型神经网络（MLPs）预测非存储点（子点）的位置及其高斯属性。这种预测机制基于一个观察：场景中相邻的点往往具有相似的属性。通过这种方式，系统仅需要存储父点的位置和少量神经网络参数，而子点的属性则在渲染时动态预测生成。此外，该方法还采用了哈希网格和自注意力机制来进一步优化属性的预测，确保在减少存储的同时，保持渲染质量。

流程

1. 初始化：使用从运动结构（SfM）方法获取的粗略点云初始化场景。
2. 父点选择：识别并存储场景中的关键点作为父点。
3. 属性预测：利用MLPs预测子点的位置及其高斯属性。
4. 渲染：在渲染过程中，根据视图需求动态预测子点的属性，并进行图像合成。
5. 优化：通过训练过程中的损失函数优化MLPs的参数，以提高预测的准确性。

具体示例：在渲染一个花园场景时，系统仅存储花园中的一些关键树木和路径点作为父点，而草地和花朵等细节则通过实时预测生成，从而在保持细节的同时大幅减少存储需求。

应用

轻量级预测性3D高斯喷洒技术适用于需要高效存储和实时渲染的应用场景，特别是在移动设备和边缘计算环境中。例如，在增强现实（AR）应用中，该技术可以实现复杂场景的快速渲染，同时减少对设备存储和计算资源的需求。此外，该技术还可应用于虚拟现实（VR）、游戏开发和动态场景渲染等领域，为这些领域带来更高的效率和更丰富的用户体验。