"创新的地理空间基础模型:高效预测森林地上生物量"

Fine-tuning of Geospatial Foundation Models for Aboveground Biomass Estimation

摘要

本文探讨了利用地理空间基础模型(Geospatial Foundation Models, GFMs)进行巴西不同生态区域地上生物量(Above-Ground Biomass, AGB)估计的有效性。通过微调基于Swin-B变换器的地理空间基础模型,使用来自巴西不同生态区域的卫星数据,论文展示了该模型在稀疏标签预测任务中的性能与从头训练的U-Net相当,尽管其参数数量仅为U-Net的十分之一,从而节省了时间和计算资源。此外,论文还探讨了这些模型的迁移学习能力,通过在巴西不同生态区域的稀疏标签卫星图像上进行微调。

原理

地理空间基础模型(GFMs)通过预训练学习全球模式和通用特征,这些模型使用自监督学习策略,如SimMIM,通过遮蔽输入图像的大部分并让模型重建这些部分来训练。在微调阶段,模型的编码器(Swin-B变换器)被冻结,仅调整解码器部分,以适应特定的AGB预测任务。这种架构设计使得模型能够在保持高性能的同时,大幅减少需要优化的参数数量,从而提高了训练效率和资源利用率。

流程

论文中的工作流程包括预处理卫星图像数据,使用SimMIM进行自监督预训练,然后对地理空间基础模型进行微调,以预测AGB。具体步骤包括:1) 数据预处理,排除含有大量云覆盖的图像;2) 使用SimMIM进行预训练,学习图像的全局特征;3) 微调阶段,冻结编码器,仅调整解码器以适应AGB预测任务;4) 使用Adam优化器和RMSE损失函数进行模型优化;5) 通过计算验证集上的RMSE来评估模型性能。

应用

该研究展示了地理空间基础模型在森林监测和碳封存评估中的应用潜力。通过进一步整合多模态数据源和在更复杂的条件下测试模型,这些模型有望在全球范围内提供快速、准确的AGB估计,从而支持气候变化缓解和自然资源管理。