摘要

本文介绍了一种名为MindBench的综合性基准测试，用于心智图结构识别与分析。该基准测试不仅包括精心构建的双语真实或合成图像、详细注释、评估指标和基线模型，还特别设计了五种类型的结构理解与解析任务。这些任务涵盖了文本识别、空间感知、关系辨别和结构化解析等关键领域。实验结果表明，当前模型在处理结构化文档信息方面具有巨大的潜力和改进空间。预计MindBench的推出将显著推动结构化文档分析技术的研究和应用开发。

原理

MindBench通过结合多种模态（如文本、视觉和语音）的大规模语言模型（MLLM），展示了在理解和生成复杂内容方面的卓越能力。该基准测试通过设计五种结构理解与解析任务，全面评估模型在文本识别、空间感知、关系辨别和结构化解析等方面的能力。这些任务包括完全解析、部分解析、位置相关解析、结构化视觉问答（VQA）和位置相关VQA。通过这些任务，MindBench能够深入评估模型在处理复杂结构化文档时的性能。

流程

MindBench的工作流程包括数据生成、任务定义和统计分析。首先，通过多步骤过程合成心智图数据，确保数据的多样性和质量。然后，定义五种结构理解与解析任务，详细说明每个任务的要求和目标。最后，进行统计分析，评估模型在不同任务上的表现，确保基准测试的全面性和准确性。例如，在完全解析任务中，模型需要返回输入心智图图像的完整解析结果，这要求模型能够处理高分辨率图像和长结构化数据。

应用

MindBench的应用前景广泛，特别是在自动化处理心智图等结构化文档的领域。随着软件如XMind和MindManager的普及，对这些文档的自动化处理需求不断增加。MindBench不仅能够评估模型的性能，还能激发研究社区深入探索结构化文档分析的复杂问题，并寻求相应的解决方案。此外，MindBench还可用于教育和商业领域，提高信息组织和展示的效率。