摘要

本文介绍了《FlowLearn: Evaluating Large Vision-Language Models on Flowchart Understanding》，该论文专注于评估大型视觉-语言模型（LVLMs）在理解流程图方面的能力。论文提出了FlowLearn数据集，这是一个专门为增强流程图理解而设计的新资源。FlowLearn数据集包含从科学文献中提取的3,858个科学流程图和使用可定制脚本创建的10,000个模拟流程图。数据集通过视觉组件、OCR、Mermaid代码表示和VQA问题-答案对进行丰富注释。尽管LVLMs在多种视觉理解任务中表现出色，但它们在解码流程图方面的有效性尚未得到充分研究。论文通过FlowLearn测试集评估了LVLMs在流程图理解方面的性能，指出了现有模型的局限性，并为未来在这一领域的改进奠定了基础。

原理

FlowLearn数据集的工作原理基于其丰富的注释和多样化的数据集设计。科学流程图子集从科学文献中提取，注释包括标题（中位长度25词）和图内文本。模拟流程图子集使用Mermaid代码生成，提供了详细的视觉组件注释，支持组件特定任务的定量评估。两个子集都包含视觉问答（VQA）问题-答案对，增强了数据集在模型训练和评估中的实用性。论文通过这些注释和VQA任务，评估了LVLMs在流程图理解方面的能力，包括文本识别、视觉元素识别和节点连接理解等。

流程

论文的工作流程包括数据集的创建、模型的选择和评估。首先，通过从科学文献中提取和生成模拟流程图，创建了FlowLearn数据集。然后，选择了在OpenCompass多模态排行榜上排名靠前的LVLMs进行评估。评估过程中，实施了所有VQA任务，包括OCR、真/假陈述、节点和箭头计数、流程图描述和Mermaid代码生成。评估结果显示，尽管某些模型在特定任务上表现出色，但没有模型在所有任务中都表现最佳，这表明在流程图理解方面仍有改进空间。

应用

FlowLearn数据集和论文的研究为流程图理解提供了新的基准和资源，这对于科学交流和自动化视觉推理具有重要意义。未来，这些资源可以用于训练和评估更先进的视觉-语言模型，特别是在需要复杂视觉理解和结构化信息处理的领域。此外，这些研究成果还可以应用于教育、软件开发和科学研究等多个领域，提高流程图的自动化处理和理解能力。