摘要

本文介绍了一种名为“360◦ in the Wild”的大型全景视频数据集，该数据集从互联网上精心收集，涵盖全球各地的多样环境（如室内外场景）和情境（如静止和移动物体）。数据集包含超过25,000张图像，每张图像都附带相应的相机姿态和深度图。该数据集主要用于单图像深度估计和视图合成两大任务，旨在推动全景图像在深度学习领域的应用，特别是在增强现实、车辆导航、机器人技术和视频监控等领域。

原理

该数据集的核心工作原理是通过结构从运动（SfM）和多视图立体（MVS）方法计算每张图像的相机姿态和深度图。这些方法能够从视频序列中提取出密集的3D结构信息，从而为深度学习模型提供训练所需的精确标注。此外，数据集还提供了二进制掩码，用于从视频序列中移除移动物体，确保数据集的多样性和实用性。

流程

数据集的构建流程包括从YouTube视频中提取图像，使用OpenSfM进行稀疏映射和相机姿态估计，以及使用COLMAP进行密集多视图立体重建以生成高质量的深度图。为了处理全景图像，研究人员将全景图像转换为立方体贴图，这是一种由6张透视图像组成的表示方法，更适合于深度图计算。数据集的处理还包括检测场景变化和分割视频为子序列，以简化重建过程并提高数据质量。

应用

“360◦ in the Wild”数据集的应用前景广泛，特别是在需要全景图像和精确深度信息的领域，如虚拟现实、增强现实、机器人导航和视频监控。该数据集不仅为现有算法提供了测试基准，还为开发新的深度估计和视图合成技术提供了丰富的资源。随着全景相机技术的普及，该数据集将成为推动相关技术发展的重要工具。