摘要

本文聚焦于离线多智能体强化学习（MARL）中的协调失败问题，特别是在使用静态数据集学习最优多智能体控制策略时面临的挑战。研究团队通过分析两玩家多项式游戏，揭示了基于数据的最佳响应（BRUD）方法在离线MARL中可能导致灾难性协调失败的模式。为了解决这一问题，论文提出了一种名为近端联合行动优先化（PJAP）的方法，该方法通过优先考虑数据集中与当前联合行动相似的样本，有效缓解了协调问题。此外，论文还强调了优先化数据集采样在离线MARL中的创新潜力，并展示了其在多项式游戏和更复杂的MARL环境中的有效性。

原理

论文的核心在于分析和解决离线MARL中的协调失败问题。通过使用两玩家多项式游戏作为分析工具，研究团队揭示了BRUD方法在离线设置中的一个简单但被忽视的失败模式。BRUD方法要求每个智能体根据数据集中其他智能体的行动来优化自己的行动，这在离线设置中容易导致协调问题。为了克服这一问题，论文提出了PJAP方法，该方法通过优先化数据集采样，选择与当前联合行动更相似的样本进行学习，从而提高了学习的有效性和协调性。

流程

论文的工作流程首先是通过分析两玩家多项式游戏，识别出BRUD方法在离线MARL中的协调失败模式。随后，提出PJAP方法，该方法通过计算当前联合行动与数据集中样本的相似度，优先选择相似度高的样本进行学习。具体实施时，使用L1范数作为距离度量，计算样本与当前策略的距离，并根据距离设置样本的优先级。在多项式游戏和MAMuJoCo环境中进行实验，验证了PJAP方法的有效性。

应用

论文提出的PJAP方法不仅在理论分析上解决了离线MARL中的协调失败问题，还在多项式游戏和MAMuJoCo等复杂环境中展示了其应用潜力。这一方法为离线MARL提供了一种新的数据采样策略，有望与其他离线学习方法如批评家和策略正则化相结合，进一步推动离线MARL技术的发展。未来，PJAP方法可能在更多实际应用场景中得到验证和优化，特别是在需要高度协调的多智能体系统中。