摘要

本文探讨了多模态大语言模型（LLMs）在上下文学习（ICL）中的表现，特别是在提供图像-文本对作为演示时。研究通过系统评估不同规模模型的多模态ICL能力，揭示了模态在不同任务中的不同重要性，并提出了基于模态的演示选择策略以提升ICL性能。此外，研究还发现，通过文本相似性选择的演示有助于模型捕捉任务的归纳偏差，即使在未见过的或与预训练数据相矛盾的任务中也能有效提升性能。

原理

多模态ICL的工作原理基于大语言模型在处理图像和文本数据时的能力。模型通过分析提供的图像-文本对，学习如何将视觉信息与文本信息关联起来，从而在没有明确训练的情况下理解并执行特定任务。研究通过扰动不同模态的信息（如视觉和文本），展示了模态在不同任务中的不同影响，并利用这一发现来优化演示的选择策略。

流程

研究首先定义了一系列多模态ICL任务，并评估了不同规模模型在这些任务上的表现。通过扰动视觉和文本信息，研究分析了模态对ICL性能的影响。基于这些分析，研究提出了基于模态的演示选择策略，如使用视觉相似性（如CLIP）或文本相似性（如BERTScore）来选择演示。这些策略被应用于提升ICL性能，并通过实验验证了其有效性。

应用

多模态ICL的研究不仅限于理论探索，其应用前景广泛，包括但不限于图像描述、视觉问答、文本丰富图像理解等。通过优化演示选择策略，可以显著提升模型在各种实际应用中的性能，尤其是在那些未见过的或与预训练数据相矛盾的任务中。