摘要

本文介绍了一种名为Shape2Scene（S2S）的新型3D场景表示学习方法，该方法通过在3D形状数据上进行预训练来学习大规模3D场景的表示。当前3D自监督学习方法面临数据荒漠问题，因为收集3D场景数据既耗时又昂贵。相反，3D形状数据集更容易收集，但现有的形状数据预训练策略由于点数量差异大，对3D场景理解提供的潜力有限。为了解决这些挑战，S2S方法设计了多尺度高分辨率骨干网络（MH-P和MH-V），并采用形状到场景策略（S2SS）来合并来自不同形状的点，创建随机伪场景以缓解形状和场景之间的差异。此外，还应用了点-点对比损失（PPC）进行预训练。实验表明，MH-P/V学习到的3D表示在形状级和场景级3D任务之间具有良好的可迁移性。

原理

Shape2Scene（S2S）方法的核心在于通过预训练3D形状数据来学习3D场景的表示。首先，设计了多尺度高分辨率骨干网络（MH-P和MH-V），这些网络能够直接访问高分辨率特征，捕捉多尺度深度语义信息。MH-P/V通过一系列多尺度高分辨率（MH）模块堆叠，生成跨多个尺度的高分辨率语义表示，适用于需要高分辨率特征的下游任务。其次，采用形状到场景策略（S2SS），通过合并来自不同形状的点来创建伪场景，模拟场景中的多个对象，从而减少形状和场景之间的点数量差异。最后，应用点-点对比损失（PPC）进行预训练，确保MH-P/V模型能够捕捉场景中的复杂细节和特征。

流程

Shape2Scene的工作流程包括预训练和微调两个阶段。在预训练阶段，首先使用MH-P/V骨干网络在3D形状数据上进行预训练，通过S2SS策略创建伪场景数据，并应用PPC损失进行优化。预训练完成后，将预训练的模型应用于下游任务的微调阶段。例如，在3D语义分割任务中，预训练的MH-V骨干网络可以直接用于分割室内外场景中的点云数据。具体示例包括在S3DIS和ScanNet v2数据集上的室内语义分割，以及在SemanticKITTI和Synthia4D数据集上的室外语义分割。

应用

Shape2Scene方法的应用前景广泛，特别是在需要高分辨率3D场景理解的领域，如增强现实、城市规划和自动驾驶车辆。通过预训练3D形状数据，S2S方法能够有效地迁移到各种3D下游任务，包括但不限于3D语义分割和3D对象检测。此外，随着大规模3D形状数据集的可用性增加，S2S方法的潜力将进一步得到释放，为未来的3D场景理解技术提供强大的基础。