探索未来城市:ROBUS多模态数据集引领3D城市生成新纪元
摘要
本文介绍了一种名为ROBUS的多模态数据集,专门用于可控的道路网络和建筑布局生成。该数据集是迄今为止最大的开放源代码城市生成数据集,包含72,400对样本,覆盖全球约80,000平方公里。ROBUS数据集以图像、图形和文本格式呈现,旨在解决现有数据驱动方法在生成道路网络和建筑布局时缺乏高质量数据集和基准的问题。此外,该数据集还考虑了城市特征,如道路方向和建筑密度,以增强自动化城市设计的实用性。ROBUS数据集及其相关代码已发布在GitHub上,为城市设计、多媒体游戏和自动驾驶模拟等应用提供了新的可能性。
原理
ROBUS数据集的核心在于其多模态数据的整合和应用。数据集包括图像、图形和文本三种形式,每种形式都提供了城市布局的不同视角和细节。图像部分包含六个通道,分别代表不同的城市元素,如主要道路、次要道路、水体、绿地、建筑和密度。图形部分包括简化的道路网络图和带有高度的矢量建筑,这些数据有助于模型理解和生成具有特定属性的城市布局。文本部分则提供了统计值、标签和描述性文本,这些文本可以作为生成模型的输入,帮助控制生成过程。通过这种多模态数据的结合,ROBUS数据集能够支持各种与3D城市生成相关的任务,如几何约束的城市布局生成、道路图生成、矢量建筑布局生成等。
流程
ROBUS数据集的生成流程包括数据收集、预处理、图像构建、图形构建和文本构建五个主要步骤。首先,从OpenStreetMap收集原始数据,并进行复杂的预处理以清理和增强数据质量。接着,将预处理后的数据栅格化为包含六个通道的tif文件,每个通道代表不同的城市元素。然后,构建道路网络的拓扑图和带有高度的矢量建筑,这些图形数据对于生成具有特定属性的城市布局至关重要。最后,分析道路网络和建筑布局的属性,生成标签和描述性文本,这些文本可以作为生成模型的输入,帮助控制生成过程。整个流程确保了数据集的高质量和实用性,为各种城市生成任务提供了强大的支持。
应用
ROBUS数据集的应用前景广泛,涵盖了城市设计、多媒体游戏和自动驾驶模拟等多个领域。在城市设计中,该数据集可以用于生成多样化和广泛的城市布局,满足特定城市特征的需求。在多媒体游戏中,ROBUS数据集可以用于创建逼真的城市环境,增强游戏的沉浸感和真实感。在自动驾驶模拟中,该数据集可以用于训练和测试自动驾驶系统,提高其在复杂城市环境中的性能。此外,ROBUS数据集的多模态特性和可扩展性也为其在其他社会感知多媒体应用中的应用提供了可能。
