摘要

本文介绍了一种新颖的人机协同学习系统，旨在通过远程操作提高机器人操作技能的学习效率。该系统允许人类操作员与学习辅助代理共享机器人末端执行器的控制，从而在收集人类演示数据的同时，实现机器人操作教学。随着数据积累，辅助代理逐渐学习，减少了人类操作员的努力和注意力需求，提高了数据收集过程的效率。该系统在模拟环境和真实物理环境中进行了实验，通过用户研究和定量评估，证明了其能够提高数据收集效率，减少人类适应需求，同时确保收集的数据质量足以用于下游任务。

原理

该系统的工作原理基于人机协同学习范式，其中人类操作员和学习辅助代理通过远程操作系统共享控制权。辅助代理使用扩散模型（Diffusion Model）作为核心，通过正向和反向过程来混合人类操作员的动作和代理生成的动作。正向过程通过添加高斯噪声来扩散人类动作，而反向过程则通过神经网络模型来去噪，生成混合动作。通过调整控制比率γ，系统可以在人类主导和代理主导之间灵活切换，从而在不同场景下优化控制效果。

流程

系统的工作流程包括以下步骤：

1. 初始数据收集：人类操作员在全手动控制模式下收集初始数据集。
2. 辅助代理训练：使用初始数据集训练一个初步的辅助代理。
3. 数据收集与代理优化：训练后的代理协助进行第二轮数据收集，同时使用新旧数据进一步优化代理性能。
4. 自主模式切换：当收集到足够数据后，代理可以切换到全自主模式。 例如，在用户研究中，操作员在共享控制模式下收集数据，系统通过调整控制比率γ来优化数据收集效率和成功率。

应用

该系统在机器人远程操作和模仿学习领域具有广泛的应用前景。通过提高数据收集效率和减少人类操作员的适应需求，该系统可以加速机器人操作技能的学习过程，适用于各种复杂的机器人操作任务，如精细抓取、工具使用和多阶段操作。此外，该系统还可以扩展到其他需要人机协同的领域，如医疗辅助、灾难响应和家庭服务机器人。