摘要

本文探讨了大型语言模型（LLMs）在使用工具时面临的“静默错误”检测问题。工具已成为LLMs的重要组成部分，使它们能够执行网页任务甚至控制机器人。然而，现有的工具使用研究主要集中在工具选择上，而本文引入了一个框架，指导我们探索模型检测这些静默错误的能力，并反思如何进行规划。本文提供了一种初步的故障恢复方法，并在受控的计算器设置和实体代理规划中取得了有希望的结果。

原理

本文通过建立一个广泛的工具相关错误和恢复策略的分类法，识别了与集成学习工具相关的基本挑战。实验涵盖了合成和自然工具故障，并证实了当前LLMs能够识别静默工具故障。具体来说，LLMs通过内部期望的正确输出来检测工具故障，利用三种情境干预措施，学习怀疑工具并检测错误。此外，本文还探讨了在多工具或多LM设置中，LLMs如何联合推理其不确定性/知识和其他工具或代理的不确定性/知识。

流程

本文的工作流程包括两个主要设置：一个受控环境，其中LLM使用一个损坏的计算器解决算术问题；另一个更自然的“损坏”工具设置，涉及一个多模态指令跟随代理。在这些设置中，LLM被测试是否能够在没有明确错误信号的情况下检测不正确的工具输出，以观察对工具的过度信任。通过一系列的实验和情境干预策略，LLM被训练来怀疑工具并检测错误。

应用

本文的研究为未来利用LLMs作为复杂工具推理者的研究铺平了道路。LLMs的故障检测能力可以应用于各种实际场景，如机器人导航和操作、多模态任务处理等，提高系统的鲁棒性和可靠性。此外，LLMs的元认知能力，即识别和处理错误的能力，可以进一步增强其在复杂任务中的应用。