摘要

本文探讨了如何利用大型视觉语言模型（LVLMs）解释不同时期卫星图像之间的时间变化，这对于城市规划和环境监测至关重要。由于手动构建数据集成本高昂，因此人机协作成为一种有前景的方法。论文提出三种提示方法来处理双时相卫星图像，并通过人类评估验证了逐步推理提示方法的有效性。

原理

论文的核心在于提出三种提示方法来解决LVLMs通常只接受单张图像输入的问题。这些方法包括：（1）All-at-Once，将双时相卫星图像并排拼接后生成解释；（2）Step-by-Step，先分别生成每张图像的描述，再基于这些描述生成最终解释；（3）Hybrid，结合前两种方法的优势。通过人类评估，发现Step-by-Step提示方法在覆盖率、真实性和信息性方面表现最佳，尤其是使用LLaVA-1.5模型时。

流程

论文的工作流程如下：首先，通过All-at-Once方法将双时相卫星图像并排拼接输入到LVLM中，直接比较两张图像并识别时间变化。其次，在Step-by-Step方法中，先使用LVLM生成每张图像的描述，然后将这些描述输入到LLM中生成时间变化的解释。最后，Hybrid方法结合了前两种方法，先生成每张图像的描述，然后将拼接图像和这些描述一起输入以生成更全面和准确的解释。

应用

该研究的应用前景广泛，特别是在城市规划、环境监测和灾害评估等领域。通过准确解释卫星图像中的时间变化，可以更好地理解城市发展和环境变化，为决策提供科学依据。此外，这种方法还可以扩展到其他需要图像时间序列分析的领域。