摘要

本文探讨了在强化学习中广泛使用的经验回放技术，特别是优先经验回放（PER）的效能和适用性。通过一系列精心设计的实验，研究了PER在预测任务和控制任务中的表现，特别是在结合神经网络进行函数近似时的行为。研究发现，尽管PER在表格设置中能有效提升价值传播，但在与神经网络结合时，其性能通常不优于均匀回放。此外，本文还引入了基于梯度TD方法的预期PER算法，该算法在某些情况下表现更为稳定，但总体上仍未显示出对均匀回放的明显优势。

原理

优先经验回放（PER）通过根据时间差分（TD）误差的比例来采样经验，以提高学习效率。TD误差较大的经验被认为包含更多信息，因此被更频繁地采样。然而，当与神经网络结合时，这种优先采样可能导致过度泛化，因为神经网络的更新会影响多个状态，而不仅仅是单个状态。本文提出的预期PER算法通过使用预期TD误差的估计来计算优先级，减少了由于随机性导致的噪声，从而在某些情况下提供了更稳定的性能。

流程

在实验中，研究者首先在表格设置和神经网络设置中比较了不同版本的PER与均匀回放的性能。实验包括预测任务和控制任务，使用50状态的马尔可夫链环境。在预测任务中，PER变体在表格设置中表现优于均匀回放，但在神经网络设置中并未显示出一致的优势。在控制任务中，所有PER变体均未显示出比均匀回放更高的样本效率。此外，实验还探讨了采样无替换和更新优先级对PER性能的影响，发现这些改进在表格设置中有所帮助，但在神经网络设置中效果有限。

应用

尽管本文的研究结果表明PER在某些情况下可能不如均匀回放有效，但PER的概念仍然具有潜在的应用价值，特别是在需要快速价值传播的稀疏奖励任务中。预期PER算法的引入为未来的研究提供了新的方向，特别是在减少噪声和提高稳定性方面。未来的工作可能需要探索更有效的优先级机制，以适应不同类型的强化学习任务和环境。