摘要

本文介绍了一种名为λ-差异（λ-discrepancy）的度量标准，用于检测和缓解序列决策过程中的部分可观测性问题。在强化学习中，通常假设环境动态和价值函数可以用马尔可夫状态表示来表达，但在状态信息仅部分可观测的情况下，代理如何学习这种状态表示，以及如何检测何时找到这种状态表示，是一个挑战。λ-差异是基于两种不同λ值的时序差分（TD）价值估计之间的差异，用于评估环境是否完全或部分可观测，并证明在马尔可夫决策过程中为零，而在广泛的部分可观测环境中几乎总是非零。通过实验证明，一旦检测到λ-差异，最小化它可以有助于学习记忆函数以缓解相应的部分可观测性问题。此外，提出了一种深度强化学习算法，该算法利用λ-差异作为辅助损失，显著提高了基线循环代理在具有挑战性的部分可观测任务上的性能。

原理

λ-差异的工作原理基于时序差分学习（TD）方法，该方法定义了在一步TD（即λ=0）和蒙特卡洛（MC）估计（λ=1）之间的平滑权衡，中间的λ值在这些极端之间插值。通过比较两个不同λ值的价值估计，可以检查代理的观察是否支持马尔可夫价值预测，并在发现不完整时用记忆增强它们。具体来说，λ-差异是两个不同λ值的TD价值函数估计之间的差异，证明了在马尔可夫决策过程中为零，而在广泛的部分可观测环境中几乎总是非零。这种度量标准可以可靠地检测部分可观测性，并且可以通过直接从价值函数计算，这些价值函数在强化学习中普遍存在。

流程

论文中的工作流程包括以下几个关键步骤：

1. 定义λ-差异：通过计算两个不同λ值的TD价值函数估计之间的差异来定义λ-差异。
2. 检测部分可观测性：使用λ-差异作为度量标准，检测环境是否完全或部分可观测。
3. 最小化λ-差异：一旦检测到λ-差异，通过调整记忆函数的参数来最小化它，从而缓解部分可观测性问题。
4. 深度强化学习算法：在深度强化学习代理中，同时构建两个具有不同λ参数的循环价值网络，并最小化它们之间的差异作为辅助损失。
5. 实验验证：在具有挑战性的部分可观测领域中评估所提出的方法，结果显示代理的性能显著优于仅有一个价值网络的基线循环代理。

应用

λ-差异作为一种简单而强大的度量标准，适用于检测和缓解部分可观测性问题，具有广泛的应用前景。它可以应用于各种需要复杂记忆函数的领域，如自动驾驶、机器人导航、游戏AI等。通过有效地处理部分可观测性问题，可以显著提高代理在这些领域的决策质量和性能。