摘要

本文探讨了视觉-语言模型（VLM）作为推理器的应用，特别是在多模态AI领域。文章基于SMART任务（简单多模态算法推理任务），通过八个不同的推理轴（数学、计数、路径、测量、逻辑、空间和模式）来研究VLM的推理能力，并寻求改进的方法。文章提出了一种新的QF多模态层，通过融合预训练的视觉和语言骨干网络，以及适当的超参数和训练选择，实现了在SMART任务上高达48%的准确性提升。此外，文章还提供了完整的代码实现，可在GitHub上获取。

原理

文章提出的智能视觉-语言推理器（smarterVLM reasoner）架构包括一个新颖的QF层，该层通过多模态输入（视觉和语言）学习隐藏表示。视觉（DinoV2+SigLIP）和语言（SigLIP）骨干网络被冻结，所有其他层从零开始训练。QF层通过多模态交叉注意力机制，有效地融合了视觉和语言信息，从而提高了模型在复杂推理任务上的表现。

流程

文章详细描述了模型的训练和推理流程。对于每个图像-问题实例，模型预测五个答案选项中的一个概率。当答案是序列形式时，模型首先解码答案序列，然后将其转换为{A, B, C, D, E}多选选项之一。模型使用了一个循环神经网络（RNN）作为解码器，并专注于从零开始训练深度学习架构，使用来自预训练冻结骨干网络的多样化输入。

应用

文章提出的方法不仅在SMART任务上展示了显著的性能提升，而且具有广泛的应用前景。这些包括但不限于数学问题的自动解决、逻辑推理、空间理解等多个领域。随着模型的进一步优化和扩展，其在教育和实际问题解决中的应用潜力巨大。