摘要

本文探讨了在马尔可夫决策过程（MDPs）中通过欺骗手段保护奖励函数隐私的问题。在许多物理和网络安全领域，当决策可被观察时，保护顺序决策代理的偏好（或奖励）隐私至关重要。例如，在野生动物监测中，代理必须分配巡逻资源，同时不向偷猎者透露动物位置。本文提出了一种基于欺骗理论的新方法，通过两个模型：伪装（隐藏真相）和模拟（展示错误）来解决奖励函数隐私保护问题。首先，本文理论上证明了现有基于伪装的隐私保护方法存在显著隐私泄露。其次，提出了一种新的基于强化学习（RL）的规划算法，该算法使用模拟来有效解决这些隐私问题，同时确保预期奖励的保证。在多个基准问题的实验表明，本文的方法在保护奖励函数隐私方面优于以往的方法。

原理

本文的核心在于通过欺骗手段保护奖励函数的隐私。具体来说，通过两种欺骗模型：伪装和模拟。伪装涉及隐藏真实信息，而模拟则是展示虚假信息。本文首先通过理论分析揭示了现有基于伪装的隐私保护方法存在的隐私泄露问题。接着，提出了一种新的基于强化学习的规划算法，该算法通过模拟来误导观察者，使其无法准确学习到真实的奖励函数。这种算法确保了在保护隐私的同时，代理仍能获得良好的性能。

流程

本文的工作流程如下：首先，用户定义一个奖励函数，该函数编码了他们的偏好。然后，一个私有的强化学习算法学习一个最大化奖励同时保持奖励函数私密的策略。观察者可以使用逆强化学习（IRL）算法通过观察代理的演示来恢复一个奖励函数。如果恢复的奖励函数质量很高，它将具有与原始奖励函数非常相似的属性，使得观察者能够估计用户的偏好。为了解决这个问题，本文引入了两种修改的IRL算法，这些算法考虑了欺骗性的演示。

应用

本文提出的方法在多个领域具有广泛的应用前景，特别是在需要保护奖励函数隐私的场景，如野生动物监测、城市巡逻和网络安全等。通过有效地保护奖励函数的隐私，可以防止潜在的恶意观察者利用这些信息进行不当行为。此外，本文的方法还可以扩展到连续状态和动作空间的环境中，为未来的研究提供了新的方向。