摘要

本文介绍了一种利用自然语言提示和机器人操作系统（ROS）中的上下文信息，使非专家用户能够直观编程机器人的框架。该系统集成了大型语言模型（LLM），允许非专家通过聊天界面向系统表达任务要求。关键特性包括：ROS与连接到众多开源和商业LLM的AI代理的集成，从LLM输出中自动提取行为并执行ROS动作/服务，支持三种行为模式（序列、行为树、状态机），通过模仿学习添加新的机器人动作到可能动作的库中，以及通过人类和环境反馈进行LLM反思。广泛的实验验证了该框架的鲁棒性、可扩展性和多样性场景下的多功能性，包括长期任务、桌面重排和远程监督控制。为了促进该框架的采用和支持我们结果的再现，我们已经将代码开源。

原理

ROS-LLM框架的核心在于将ROS与大型语言模型（LLM）集成，通过自然语言处理技术，使非专家用户能够通过简单的聊天界面与机器人系统交互。系统的工作原理如下：

1. 自然语言处理：用户通过聊天界面输入任务描述，LLM解析并理解这些自然语言指令。
2. 行为生成：LLM根据解析的任务描述生成相应的机器人行为序列或行为树。
3. 执行控制：生成的行为序列通过ROS系统转化为具体的机器人动作和服务，执行任务。
4. 反馈与调整：系统能够接收来自人类用户和环境的反馈，根据反馈调整行为策略，实现任务的动态调整和优化。
5. 模仿学习：非专家用户可以通过演示新的任务，系统通过模仿学习将这些新任务转化为可执行的机器人动作，扩展其动作库。

流程

1. 任务概念化：用户通过聊天界面输入任务描述，例如“给我做一杯咖啡”。
2. 任务分解：系统将任务分解为多个子任务，如“到达”、“拾取”、“开关”等。
3. 行为生成：LLM根据子任务生成具体的行为序列或行为树。
4. 执行任务：生成的行为序列通过ROS系统执行，机器人完成任务。
5. 反馈与调整：系统接收并处理来自用户和环境的反馈，调整行为策略以优化任务执行。
6. 扩展动作库：通过模仿学习，系统可以学习并添加新的机器人动作到其动作库中。

应用

ROS-LLM框架的应用前景广泛，特别是在需要非专家用户与机器人交互的场景中，如家庭服务、医疗辅助、建筑施工等。该框架的直观性和灵活性使其能够适应多样化的任务需求，提高机器人的普及率和实用性。此外，通过不断的学习和反馈，系统能够持续优化，适应更复杂和动态的环境。