摘要

本文探讨了在不确定性条件下实时系统最优交通路由的问题，特别是在大型交通网络中。传统的基于物理模型的方法对不确定性和模型不匹配敏感，而模型自由的强化学习则面临学习效率和可解释性问题。为此，本文提出了一种名为TransRL的新算法，该算法结合了强化学习与物理模型，以提高性能、可靠性和可解释性。TransRL通过建立基于物理模型的确定性策略，并从中学习一个可微分且随机的教师策略，以最大化累积奖励并最小化当前策略与教师策略之间的Kullback-Leibler（KL）散度。实验结果表明，TransRL在多个交通网络中表现优于基于交通模型的方法和现有的强化学习算法，如近端策略优化（PPO）和软演员-评论家（SAC）。此外，TransRL的行动表现出更高的可靠性和可解释性。

原理

TransRL的工作原理基于强化学习框架，但引入了基于交通物理模型的教师策略来指导学习过程。首先，TransRL建立一个基于物理模型的确定性策略，然后从这个策略中学习一个可微分且随机的教师策略。在训练过程中，TransRL不仅与环境交互以学习最优策略，还通过比较当前策略与教师策略之间的KL散度来指导学习方向。这种双重视角使得TransRL能够在利用环境交互的同时，借鉴物理模型的先验知识，从而更有效地学习并保持策略的可靠性和可解释性。

流程

TransRL的工作流程包括以下几个关键步骤：

1. 策略初始化：基于物理模型建立一个确定性策略作为教师策略。
2. 策略学习：在训练过程中，TransRL通过与环境的交互来学习策略，同时比较当前策略与教师策略的KL散度。
3. 奖励最大化：TransRL的目标是最大化累积奖励，同时最小化当前策略与教师策略之间的KL散度。
4. 策略更新：通过迭代更新策略，TransRL逐渐优化其行为，以适应实际网络数据和物理模型的指导。

例如，在一个包含数百个链接的交通网络中，TransRL会首先根据历史数据和物理模型设定初始路径分配比率，然后在实时数据的基础上调整这些比率，以达到最小化总旅行时间的目标。

应用

TransRL的应用前景广泛，特别适用于需要实时优化的大型交通网络，如城市交通管理系统、高速公路网络等。通过结合强化学习和物理模型，TransRL能够在不确定性和模型不匹配的情况下提供更可靠和可解释的交通路由策略，有望显著减少交通拥堵和提高交通效率。此外，TransRL的框架可以进一步扩展，以适应更复杂的交通场景和多模式交通系统。