"ALISE:开创性的卫星图像时间序列编码器,推动地球监测技术的进步"

Paving the way toward foundation models for irregular and unaligned Satellite Image Time Series

摘要

本文介绍了一种名为ALISE的新型卫星图像时间序列(SITS)编码器,旨在解决实际应用中卫星遥感图像处理的主要挑战。ALISE通过利用SITS的空间、光谱和时间维度,生成对齐的潜在表示,这些表示在时间上是固定的,不需要进一步训练即可用于下游任务。与现有的自监督学习(SSL)模型不同,ALISE采用了一种灵活的查询机制,将SITS投影到一个共同的学习时间投影空间中。此外,通过多视图框架,ALISE结合了实例判别和掩码自编码任务,以探索SITS的集成。评估结果显示,使用对齐表示比以前的SSL方法在分割任务中更有效,并且ALISE表示也适用于变化检测。

原理

ALISE的核心在于其能够处理不规则和未对齐的SITS,并生成固定维度的时间对齐表示。这一过程通过两个主要块实现:首先是空间、光谱和时间编码器(SSTE),它对应于U-BARN架构,并进行了修改以处理多年的SITS。其次是时间投影器,它基于Perceiver I/O机制,通过学习查询和SSTE输出的交叉注意力机制,将SSTE的输出投影到一个共同的时间投影空间中。这种设计使得ALISE能够生成对齐的SITS表示,这些表示在时间上是固定的,适用于多种下游任务。

流程

ALISE的工作流程包括预训练和下游任务评估两个阶段。在预训练阶段,ALISE通过多视图自监督学习任务,结合交叉重建损失和嵌入潜在空间损失,生成对齐的SITS表示。在下游任务评估阶段,ALISE的表示被用于作物分割、土地覆盖分割和新的作物变化检测数据集,通过线性探测和微调配置评估其性能。具体来说,ALISE的表示通过单个线性层进行像素级分类,并在变化检测任务中通过测量两个对齐SITS表示之间的距离来生成变化图。

应用

ALISE的应用前景广泛,特别是在地球监测任务中,如土地利用分类、农业管理、气候变化监测和灾害监测。由于其生成的对齐表示在时间上是固定的,ALISE可以被传统的机器学习算法轻松使用,这使得它在地理科学家和环境分析师中具有很高的实用性。此外,ALISE的表示也适用于变化检测,这为监测环境变化提供了新的工具。