摘要

本文由Hannah K. Bako等研究者撰写，探讨了大型语言模型（LLMs）在自然语言表达中生成数据可视化的语义分析能力。研究背景在于自动生成数据可视化需要对数据表达有深刻的语义理解，包括对数据属性的隐式和显式引用、可视化任务以及必要的数据准备步骤。尽管自然语言接口（NLIs）在数据可视化方面已有所探索，但仍存在由于人类语言固有的不确定性带来的挑战。LLMs的最新进展为解决这些挑战提供了途径，但其提取相关语义信息的能力尚未得到充分探索。本研究评估了四款公开可用的LLMs（GPT-4、Gemini-Pro、Llama3和Mixtral），研究它们在存在不确定性的情况下理解表达并识别相关数据上下文和可视化任务的能力。研究发现，尽管LLMs对不确定性敏感，但它们能够提取相关的数据上下文，而在推断可视化任务方面则表现不佳。基于这些结果，研究强调了未来使用LLMs进行可视化生成研究的方向。

原理

LLMs通过深度学习技术，特别是自然语言处理（NLP）技术，来理解和生成文本数据。在本研究中，LLMs被用来分析和理解用户通过自然语言表达的数据可视化需求。LLMs的工作原理基于其庞大的预训练数据集和复杂的神经网络结构，能够捕捉和学习语言的复杂模式和语义关系。在处理用户表达时，LLMs首先解析语言的表面结构，然后通过其内部模型推断出潜在的语义信息，包括数据属性的识别、数据转换的需求以及可视化任务的分类。尽管LLMs在处理不确定性方面表现出较高的敏感性，但它们仍能有效地提取出相关的数据上下文信息。

流程

研究团队首先收集了500个与数据相关的用户表达，这些表达来自两个公开的数据集（NLVCorpus和Quda），并经过筛选以反映人类语言中的不确定性。随后，研究者手动注释了这些表达，包括识别不确定性、所需的数据属性和数据转换，以及可视化任务。LLMs（GPT-4、Gemini-Pro、Llama3和Mixtral）被用来处理这些表达，并生成相应的响应。通过比较LLMs的输出与人工注释，研究者评估了LLMs在清晰度分析、数据属性和转换识别以及任务分类方面的表现。例如，对于表达“高质量空气记录在监测区域内是如何分布的？”，LLMs能够识别出需要进行数据分组和转换，但可能在推断具体的可视化任务（如生成趋势图）方面表现不佳。

应用

LLMs在数据可视化领域的应用前景广阔。它们可以作为自然语言接口的核心组件，帮助用户通过简单的语言表达生成复杂的数据可视化。此外，LLMs的高敏感性在处理不确定性方面可能转化为优势，通过提出问题帮助分析师深入思考其分析问题或方法。未来，LLMs可能在改进编程响应、提高可视化任务推断准确性以及促进数据探索方面发挥重要作用。特别是在需要快速原型设计和用户定制化需求的场景中，LLMs的能力将尤为重要。