摘要

本文探讨了预训练视觉与语言（VL）模型在理解否定语义方面的能力，特别是在VALSE基准测试中的存在任务上。研究通过深入分析CLIP模型的文本编码器，揭示了模型内部处理否定语义的机制，并评估了VALSE数据集作为语言理解基准的有效性。研究结果不仅展示了如何将语言模型解释性方法应用于多模态模型，还提供了关于CLIP如何处理否定语义的具体见解，并指出了VALSE数据集在评估语言理解能力方面的局限性。

原理

研究采用因果追踪方法（causal tracing）来分析CLIP文本编码器在处理否定语义时的内部机制。该方法通过记录和替换文本编码器在不同层和位置的激活状态，观察这些操作如何影响模型的输出，从而量化特定层和位置在处理否定语义中的作用。此外，研究还分析了文本编码器中的注意力头，识别那些专门处理否定词的注意力头，进一步揭示了模型如何利用这些注意力头来理解和处理否定语义。

流程

研究首先定义了CLIP模型在VALSE存在任务中的分类过程，并通过因果追踪方法分析了文本编码器在处理否定语义时的激活状态。具体来说，研究记录了模型在处理包含否定词的句子和不包含否定词的句子时的激活状态，并通过替换这些激活状态来观察模型的输出变化。此外，研究还分析了文本编码器中的注意力头，识别那些专门处理否定词的注意力头，并计算了这些注意力头在处理否定语义时的选择性注意力值。

应用

该研究不仅为理解多模态模型如何处理复杂语言现象提供了重要见解，还为改进这些模型的设计和训练提供了方向。未来工作可以扩展到其他任务和模型，进一步探索模型内部机制，并优化数据集以更准确地评估模型的语言理解能力。此外，这些发现还可以应用于自然语言处理的其他领域，如机器翻译、文本生成等，提高模型在这些任务上的性能。