摘要

本文介绍了一种名为“连续观察模仿学习”（CILO）的新方法，该方法结合了探索机制和路径签名技术，以提高模仿学习的效率和性能。CILO通过减少专家轨迹的需求和自动编码约束，实现了在连续环境中的高效学习。与传统的模仿学习方法相比，CILO在多个环境中展示了卓越的整体性能，甚至在某些情况下超过了专家的表现。CILO的创新之处在于其模型无关性，使其能够广泛应用于各种环境动态，并为更健壮和灵活的学习技术铺平了道路。

原理

CILO的核心创新包括两个主要方面：探索机制和路径签名技术。探索机制允许模型在动作预测不确定时进行更广泛的探索，从而增加状态转移的多样性，减少训练迭代次数。路径签名技术则通过创建非参数化的代理和专家轨迹表示，自动编码约束，提高了样本质量。CILO通过使用三个不同的模型（逆动态模型M、策略模型πθ和判别模型D）来实现这一目标，这些模型协同工作以提高学习效率和性能。

流程

CILO的工作流程包括初始化所有模型并使用随机权重收集环境样本。随后，动态模型M使用这些随机样本进行监督学习训练。训练后的M预测所有专家过渡的自监督标签，并使用这些标签通过行为克隆训练策略模型πθ。策略模型生成新样本，这些样本可能有助于M近似未知的专家真实动作。最后，CILO使用判别模型D来分类专家和代理轨迹，从而优化学习过程。

应用

CILO的模型无关性和高效性使其适用于广泛的模仿学习场景，特别是在需要较少专家数据和能够适应未见场景的情况下。CILO的创新机制可以轻松集成到其他模仿学习方法中，预示着未来模仿学习技术的发展方向，特别是在机器人学和自动化领域。