摘要

LogicVista是一个评估多模态大型语言模型（MLLMs）在视觉上下文中逻辑推理能力的基准测试。随着MLLMs在图像诗歌创作和数学推理等领域的进步，逻辑推理任务的重要性日益凸显，尤其是在导航和解谜等活动中。LogicVista通过包含5种逻辑推理任务和9种不同能力的448个多选题，全面评估了8种MLLMs的逻辑认知能力。每个问题都附有正确答案和人工编写的推理过程，支持开放式和多选题的评估。该基准测试的代码和数据已公开，以便于模型性能的严格评估和比较。

原理

LogicVista的工作原理基于对MLLMs在视觉上下文中逻辑推理能力的全面评估。它涵盖了5种代表性的逻辑推理任务：归纳推理、演绎推理、数值推理、空间推理和机械推理。每个任务都包含多种能力，如图表、OCR、模式、图形、表格、3D形状、谜题、序列和物理学。所有图像、指令、解决方案和推理都经过人工标注和验证，确保数据的准确性和可靠性。通过设计“请从A, B, C, D, E中选择”的指令和LLM答案评估器，LogicVista能够评估不同的推理技能和能力，并基于MLLMs的自然语言输出进行定量统计分析。此外，LogicVista还提供了深入的人工编写解释，以支持彻底的开放式评估。

流程

LogicVista的工作流程包括数据收集、标注、模型评估和结果分析。首先，从专有来源收集和标注样本，确保数据的完整性和质量。然后，使用8种代表性的MLLMs对448个任务进行评估，包括LLaVA、MiniGPT-4、Otter、GPT-4 Vision等。通过LLM-based多选题答案提取器，将MLLMs的开放式响应与标注的答案进行比较，计算总体逻辑推理得分和各推理技能及能力的得分。最后，分析模型在不同推理技能和能力上的表现，提供详细的性能分解，帮助用户理解模型在特定技能上的优势和需要改进的地方。

应用

LogicVista的应用前景广泛，特别是在需要复杂逻辑推理能力的领域，如教育、医疗诊断、自动驾驶和游戏设计等。通过评估和提升MLLMs的逻辑推理能力，可以增强其在解决实际问题中的应用，推动人工智能技术的发展。此外，LogicVista的评估方法和数据集为研究和开发更高级的逻辑推理模型提供了宝贵的资源和基准。