摘要

本文介绍了一种名为“分层共识多智能体强化学习（Hierarchical Consensus-Based Multi-Agent Reinforcement Learning, HC-MARL）”的新框架，旨在解决多智能体强化学习（MARL）中的一个关键问题：在训练时使用全局状态信息，而在执行时仅依赖局部观察，缺乏全局信号的指导。HC-MARL框架受人类社会共识机制的启发，通过对比学习促进智能体之间的全局共识，使智能体能够在没有直接通信的情况下形成合作行为。该框架通过分层共识机制，结合短期和长期观察，动态调整各共识层的影响，优化任务执行中的即时反应和战略规划之间的平衡。实验结果显示，HC-MARL在多机器人系统的模拟和实际应用中表现优异，显著超越了基准算法。

原理

HC-MARL框架的核心在于利用对比学习构建智能体间的全局共识。首先，通过共识构建器将局部观察映射到离散的潜在空间，形成不变性，这些不变性被定义为全局共识。然后，将这些全局共识作为额外的局部观察信息输入到智能体的决策网络中。此外，通过分层共识机制，将共识分为短期和长期两个层次，短期共识基于单一时步的观察，而长期共识则结合多个时步的观察，形成战略性的高层次共识。最后，通过自适应注意力机制动态调整各共识层的影响，确保系统能根据任务的具体需求灵活调整短期和长期的考虑。

流程

HC-MARL的工作流程如下：首先，智能体从环境中获取局部观察；然后，这些观察通过分层共识构建器处理，生成当前的共识类别；接着，这个共识类别被用作智能体的额外观察信息，输入到策略和评价网络中，指导智能体的行动与全局共识保持一致。在训练阶段，智能体可以访问全局状态信息，而在执行阶段，智能体仅依赖局部观察和共识信息进行决策。例如，在导航任务中，智能体通过短期共识避免碰撞，通过长期共识规划路径。

应用

HC-MARL框架的应用前景广泛，特别适用于需要多智能体协作的复杂任务，如多机器人系统的协同操作、自动驾驶车辆的编队控制等。由于其能够在无直接通信的情况下实现智能体间的有效合作，该框架在资源受限或通信受阻的环境中尤为有用。随着技术的进一步发展和优化，HC-MARL有望在更多领域展现其强大的应用潜力。