摘要

本文探讨了AI代理（agent）评估的当前实践及其在实际应用中的局限性。文章指出，现有的代理评估主要依赖于基准测试，但这些测试存在多个问题，如过度关注准确性而忽视成本、混淆模型开发者和下游开发者的需求、缺乏适当的保留集（holdout sets）以及评估实践缺乏标准化，导致难以复现结果。文章提出了一系列改进建议，包括成本控制评估、区分模型和下游评估需求、防止通过适当保留集进行捷径、以及提高评估实践的标准化。这些建议旨在推动AI代理的发展，使其不仅在基准测试中表现准确，而且在现实世界中真正有用。

原理

文章的核心在于揭示和解决当前AI代理评估中的多个关键问题。首先，现有的基准测试过于侧重准确性，忽视了成本问题，导致代理设计复杂且成本高昂。其次，模型开发者和下游开发者的评估需求被混淆，使得难以确定最适合特定应用的代理。此外，许多基准测试缺乏适当的保留集，导致代理可能通过捷径（如过拟合）获得高准确率。最后，评估实践缺乏标准化，导致结果难以复现。文章通过引入成本控制评估、区分模型和下游评估需求、使用适当的保留集以及提高评估标准化，来解决这些问题，从而推动AI代理的实际应用。

流程

文章通过多个步骤展示了其工作流程：

1. 问题识别：分析当前AI代理基准测试和评估实践的不足。
2. 解决方案提出：提出包括成本控制评估、区分模型和下游开发者需求、使用适当保留集和提高评估标准化等解决方案。
3. 实验验证：通过设计和实施新的优化方法，如在HotPotQA基准测试中使用DSPy框架进行联合优化，展示了这些方法在降低成本的同时保持准确性的潜力。
4. 案例研究：通过NovelQA和WebArena等案例研究，展示了这些解决方案在实际应用中的有效性。
5. 结论和建议：总结研究发现，并提出对未来AI代理评估的建议。

应用

文章提出的改进AI代理评估的方法具有广泛的应用前景。通过优化评估过程，可以更有效地开发和部署AI代理，使其在各种实际应用中发挥作用，如自动化编程、多跳问答、Web交互等。此外，这些方法还有助于提高AI代理的可靠性和可复现性，从而推动整个AI领域的健康发展。