摘要

本文介绍了一种名为Mobile-Bench的新型基准测试，用于评估基于大型语言模型（LLM）的移动代理的能力。该基准测试解决了现有评估方法的不足，特别是在用户界面（UI）操作效率、多维度推理和决策能力评估以及顺序动作过程评估方面的挑战。Mobile-Bench通过集成103个收集的API来提高任务完成效率，并结合真实用户查询和LLM增强数据来收集评估数据。该基准测试包含832个数据条目，其中超过200个任务专门设计用于评估多应用程序协作场景。此外，引入了一种名为CheckPoint的新评估指标，用于评估LLM移动代理在规划和推理步骤中是否达到关键点。

原理

Mobile-Bench的工作原理基于以下几个关键步骤：首先，通过集成103个API来扩展传统的UI操作，从而加速任务完成效率。其次，收集评估数据时，结合真实用户查询和LLM生成的增强数据，确保数据的多样性和实用性。为了更好地评估移动代理的不同规划能力，数据被分为三个不同的组别：SAST（单应用单任务）、SAMT（单应用多任务）和MAMT（多应用多任务），反映了不同级别的任务复杂性。最后，通过引入CheckPoint评估指标，确保能够准确评估代理在执行任务过程中的关键步骤。

流程

Mobile-Bench的工作流程包括以下几个步骤：用户通过自然语言发出指令，代理根据指令选择合适的应用程序和API进行操作。代理首先通过API调用启动应用程序，然后根据任务需求执行一系列UI操作或API调用。在整个过程中，代理会不断检查任务的完成状态，并根据需要调整操作策略。例如，在设置闹钟的任务中，代理可以通过单个API调用快速完成任务，而不需要执行多个UI操作步骤。

应用

Mobile-Bench的应用前景广泛，特别是在提升移动设备上的自然语言交互体验方面。通过该基准测试，可以有效评估和优化基于LLM的移动代理在处理复杂任务时的性能，从而推动相关技术的发展。此外，Mobile-Bench还可以为开发人员提供一个标准化的测试平台，帮助他们设计和实现更高效、更智能的移动应用程序。