摘要

本文介绍了一种名为“Value-Penalized Auxiliary Control from Examples (VPACE)”的新型示例控制方法，旨在通过仅有的任务完成状态示例来高效学习策略。VPACE通过添加计划辅助控制和辅助任务示例来显著改善基于示例的控制中的探索效率。此外，本文还解决了一个价值校准问题，即策略价值估计可能超过基于成功数据的理论极限。通过引入高于成功水平的价值惩罚，VPACE在三个模拟和一个真实机器人操作环境中，以及21个不同的主要任务中，显著提高了学习效率。

原理

VPACE的核心在于通过示例状态而非专家轨迹来学习策略，这消除了手工奖励函数或完整专家演示轨迹的必要性。VPACE通过引入计划辅助控制和辅助任务示例来增强探索，同时通过价值惩罚机制确保策略价值估计不会超过基于成功数据的理论极限。这种方法通过在强化学习循环中集成价值惩罚和多任务参与者-批评者更新，确保所有示例状态缓冲区的价值高于所有其他状态，从而允许从辅助任务示例中学习，而不仅仅是主要任务。

流程

VPACE的工作流程包括以下步骤：

1. 收集任务完成的示例状态。
2. 在强化学习循环中，通过计划辅助控制和辅助任务示例来增强探索。
3. 通过价值惩罚机制校准策略价值估计，确保其不会超过基于成功数据的理论极限。
4. 在多个环境和任务中测试VPACE，验证其学习效率和性能。 例如，在模拟的Franka Emika Panda机械臂任务中，VPACE通过学习辅助任务（如到达、提升）的示例，有效地提高了主要任务（如堆叠、插入）的学习效率。

应用

VPACE的应用前景广泛，特别是在机器人操作和复杂任务学习领域。由于其能够仅通过示例状态来学习策略，VPACE可以应用于难以定义精确奖励函数或获取完整专家演示的场景。此外，VPACE的辅助控制和价值惩罚机制使其在多任务学习和逆强化学习中具有潜在的应用价值。