摘要

本文介绍了一种名为“Coarse-to-fine Reinforcement Learning (CRL)”的框架，旨在提高强化学习（RL）算法在实际环境中部署的样本效率。CRL通过逐步细化连续动作空间的方式，使得基于价值的RL算法能够有效地应用于细粒度的连续控制任务。论文中提出的具体算法“Coarse-to-fine Q-Network (CQN)”在多个稀疏奖励的视觉机器人操作任务中表现出色，显著优于传统的RL和行为克隆基线，且在实际操作任务中仅需几分钟的在线训练即可学习解决任务。

原理

CRL框架的核心思想是通过迭代地将连续动作空间离散化为多个区间，并选择具有最高Q值的区间进行进一步离散化，从而实现从粗到细的动作选择。CQN算法在此框架下，通过构建一个多层次的Q网络，每个层次对应动作空间的一个离散化级别，从而能够在保持稳定性和样本效率的同时，处理连续动作空间的问题。

流程

CQN的工作流程包括以下步骤：首先，将连续动作空间离散化为多个区间；然后，选择具有最高Q值的区间进行下一层次的离散化；重复此过程直至达到预设的层次数。最终，选择最后一层次的区间中心作为动作输出。在实际应用中，CQN通过并行处理所有动作维度来加速推理过程。

应用

CQN算法在视觉机器人操作任务中展现了强大的应用潜力，特别是在需要高精度控制的场景中。此外，CRL框架的通用性也意味着它可以应用于其他连续控制任务，如机器人导航和复杂机械操作，具有广泛的应用前景。