摘要

本文介绍了一项名为VGBench的全面基准测试，旨在评估大型语言模型（LLMs）在处理矢量图形（Vector Graphics, VG）方面的能力。矢量图形是一种文本形式的视觉内容表示方法，特别适合设计师和艺术家使用几何基元如多边形来描绘世界。VGBench通过多种矢量图形格式、问题类型和提示技术，评估LLMs在矢量图形理解和生成方面的能力。研究结果显示，LLMs在处理具有高层次语义的矢量图形格式（如TikZ和Graphviz）时表现更佳，而在低层次格式（如SVG）上表现较差。此外，高级提示技术如上下文学习和思维链提示可以显著提升LLMs在矢量图形处理上的性能。

原理

VGBench的工作原理基于对LLMs在矢量图形处理上的多维度评估。它包括视觉理解和生成两个主要方面，涵盖多种矢量图形格式（如SVG、TikZ和Graphviz），以及从低级视觉到高级语义的多种问题类型。此外，VGBench采用了多种提示技术，如零样本预测、思维链推理和上下文学习等，以评估不同LLMs的性能。通过收集和评估大量的矢量图形样本，VGBench能够全面展示LLMs在矢量图形处理上的能力和局限。

流程

VGBench的工作流程包括数据收集、实验设置、任务定义、基准创建和评估。首先，从多种来源收集矢量图形样本，包括SVG、TikZ和Graphviz格式。然后，设计实验设置，使用GPT-4作为主要语言模型进行矢量图形理解和生成。任务定义包括视觉理解和生成，通过设计多选题来评估矢量图形理解，并使用图像生成指标如CLIP Score和Fréchet Inception Distance（FID）来评估生成的矢量图形质量。基准创建和评估过程中，采用半自动化的流程生成问题和答案候选，并通过人工筛选确保数据质量。最后，通过对比LLMs的响应与真实答案来计算准确性。

应用

VGBench的研究成果为LLMs在矢量图形理解和生成领域的应用提供了坚实的基础。未来，这些技术可以广泛应用于设计、艺术创作、教育和技术文档等多个领域。通过进一步优化LLMs在矢量图形处理上的能力，可以实现更高效、更精确的图形设计和生成工具，推动相关行业的创新和发展。