摘要

本文介绍了一种名为ChartGemma的新型图表理解和推理模型，该模型通过直接从图表图像生成的指令调优数据进行训练，以捕捉图表的高级趋势和低级视觉信息。ChartGemma在多个基准测试中取得了最先进的结果，包括图表总结、问答和事实检查，并且在真实世界图表上的定性研究显示，ChartGemma生成的总结比同类模型更真实和事实正确。本文还公开了代码、模型检查点、数据集和演示。

原理

ChartGemma的工作原理基于其独特的训练方法和架构设计。与依赖图表底层数据表的现有方法不同，ChartGemma直接从图表图像生成指令调优数据，这使得模型能够捕捉到图表的视觉趋势和模式。ChartGemma使用PaliGemma作为其骨干架构，该架构包括一个视觉编码器SigLIP和一个语言模型Gemma-2B。视觉编码器将图像分割成小块，并将这些小块转换为视觉令牌，然后与输入文本嵌入连接并传递给Gemma-2B进行处理。这种设计使得模型能够更好地理解图像中的复杂关系，特别是在处理包含许多细微复杂性的图表图像时。

流程

ChartGemma的工作流程包括数据生成、模型训练和评估三个主要步骤。首先，通过收集和合成多种来源的图表图像来构建图表语料库。然后，使用这些图表图像直接生成视觉指令调优数据，这些数据包括预定义任务和开放式任务。接下来，使用这些数据对ChartGemma模型进行训练，训练过程中冻结视觉编码器，只对语言模型进行微调。最后，在多个基准测试上评估ChartGemma的性能，包括图表问答、事实检查和总结生成等任务。

应用

ChartGemma的应用前景广泛，特别是在需要对图表进行深入理解和推理的领域，如数据分析、商业决策和科学研究。由于其能够生成更真实和事实正确的图表总结，ChartGemma可以被广泛应用于自动化报告生成、数据解释和决策支持系统中。此外，ChartGemma的小尺寸和高效性能也使其适合在实际应用中部署。