摘要

Spider2-V 是一篇关于多模态代理在自动化数据科学和工程工作流程中的应用的论文。论文主要探讨了随着视觉语言模型（VLMs）在多模态理解和代码生成方面的进步，基于 VLM 的代理如何通过生成 SQL 查询、Python 代码和 GUI 操作来潜在地自动化这些工作流程。这不仅能提高专家的生产力，还能使大规模数据分析更加民主化。Spider2-V 是首个专注于专业数据科学和工程工作流程的多模态代理基准，包含 494 个真实世界任务，涉及 20 个企业级专业应用。论文通过详细的工作原理、流程和应用前景分析，展示了现有最先进的 LLM/VLM 代理在自动化完整数据工作流程方面的不足，并希望 Spider2-V 能为自主多模态代理在数据科学和工程工作流程自动化方面的未来研究铺平道路。

原理

Spider2-V 的工作原理基于视觉语言模型（VLMs）在多模态理解和代码生成方面的能力。这些模型能够理解和处理图像和文本数据，生成相应的 SQL 查询、Python 代码和 GUI 操作。通过这种方式，代理能够自动化数据科学和工程工作流程中的多个阶段，从数据仓储到编排，使用如 BigQuery、dbt 和 Airbyte 等工具。Spider2-V 的先进性在于其能够在一个真实的计算机环境中执行这些任务，并且涉及多个企业级专业应用，这些应用不仅包括本地安装的工具，还包括云端的企业服务。此外，Spider2-V 还集成了密集的 GUI 操作，这是传统编码或数据科学领域所忽视的，而经验丰富的数据科学家经常通过操作专业软件的 UI 来简化数据工作流程。

流程

Spider2-V 的工作流程包括以下几个关键步骤：

1. 任务定义：每个任务被定义为一个部分可观察的马尔可夫决策过程（POMDP），代理根据当前的观察（包括自然语言指令和截图）生成可执行的动作。
2. 环境设置：通过一系列基于预存储虚拟机（VM）快照的函数调用来重置环境，确保代理从一个一致的初始状态开始。
3. 任务执行：代理在执行环境中通过键盘、鼠标等操作与计算机进行交互，执行预测的动作。
4. 任务评估：任务完成后，通过编写的任务特定函数从开放式的最终计算机状态中检索期望的结果，并返回成功标志（0/1）。

例如，一个任务可能要求代理将当前 Google Drive 文件夹中的数据加载到一个新的 BigQuery 数据集中。代理需要通过 GUI 控制 Drive UI（复制数据链接）、GUI 控制 BigQuery UI（创建新表）和 GUI 控制弹出面板（填写信息）来完成这一任务。

应用

Spider2-V 的应用前景广阔，主要体现在以下几个方面：

1. 提高生产力：自动化数据科学和工程工作流程可以显著提高数据科学家和工程师的生产力。
2. 民主化数据分析：使非专家用户也能访问和分析大规模数据，推动数据分析的民主化。
3. 企业级应用：Spider2-V 涉及的企业级专业应用使其在实际企业环境中具有广泛的应用潜力。
4. 未来研究：Spider2-V 为自主多模态代理在数据科学和工程工作流程自动化方面的未来研究提供了基准和方向。