摘要

本文介绍了一种名为InsightBench的基准数据集，旨在评估商业分析代理通过多步骤洞察生成的能力。该数据集包含31个代表不同商业用例的数据集，每个数据集都附有一组精心策划的洞察。与现有专注于回答单一查询的基准不同，InsightBench评估代理基于其执行端到端数据分析的能力，包括制定问题、解释答案和生成洞察摘要及可操作步骤。此外，本文还提出了一个名为AgentPoirot的基线数据分析代理，该代理能够执行端到端数据分析，并在InsightBench上展示了优于现有方法（如Pandas Agent）的性能。

原理

InsightBench的工作原理基于三个关键特征：首先，它包含31个多样化的商业用例数据集，每个数据集都嵌入了精心策划的洞察；其次，它评估代理执行端到端数据分析的能力，包括问题制定、答案解释和洞察摘要；最后，通过全面的质量保证确保每个数据集都有明确的目标和相关的有意义的问题及分析。此外，本文还实施了一种双向评估机制，使用LLaMA-3-Eval作为有效的开源评估方法来评估代理提取洞察的能力。

流程

InsightBench的工作流程包括四个阶段：1) 从ServiceNow数据表中选择相关数据表并提取相关列以定义模式；2) 制定数据中要注入的趋势；3) 创建合成数据条目以填充遵循先前步骤中制定的趋势的表；4) 为生成的数据创建地面实况分析笔记本。每个数据集包含500个合成生成的条目，存储为CSV文件，并使用混合方法结合实际数据结构和合成洞察来模拟真实的商业环境。

应用

InsightBench的应用前景广泛，特别是在商业分析领域。它不仅能够帮助组织优化其业务运营，还能够推动数据分析领域的进一步发展。通过评估代理在不同商业场景下的表现，InsightBench为开发更高效、更智能的数据分析工具提供了基础。未来，该基准可以扩展到包括更多类别的数据，如医疗数据、社交媒体趋势、环境数据、电子商务分析和教育统计等。