摘要

本文由Xibo Li, Shruti Patel和Christof Büskens共同撰写，提出了一种结合深度强化学习（DRL）和混合A路径规划算法的新型规划框架，旨在使自动驾驶系统在遵守交通规则的同时进行高效的路径规划。该框架通过DRL进行高层行为规划，如车道变更指令的生成，然后利用混合A规划器生成无碰撞的局部轨迹，由模型预测控制器（MPC）执行。此外，论文还引入了线性时序逻辑（LTL）来编码交通规则，并将其作为DRL的奖励函数，确保代理在决策时遵守交通规则。该方法在真实系统中得到了验证，展示了从模拟到实际硬件实施的可行性。

原理

该论文的核心在于构建一个分层决策框架，结合了DRL和混合A路径规划算法。DRL部分采用近端策略优化（PPO）算法，负责生成高层行为指令，如车道变更。混合A规划器则负责根据这些指令生成具体的无碰撞轨迹。LTL被用来逻辑上定义交通规则，并将其嵌入到DRL的奖励函数中，使得代理在学习和决策过程中能够自然地遵守这些规则。这种结合确保了在复杂交通环境中的决策既高效又安全。

流程

论文提出的框架工作流程如下：首先，DRL代理通过与环境交互，学习生成车道变更等高层行为指令。这些指令随后传递给混合A*规划器，该规划器在考虑当前交通和道路条件的基础上，生成一条具体的、无碰撞的轨迹。生成的轨迹由MPC执行，确保车辆平稳且安全地遵循规划路径。整个过程中，DRL代理的决策受到LTL定义的交通规则的约束，确保所有行为都符合道路交通法规。

应用

该论文提出的方法不仅限于理论研究，其应用前景广阔，特别是在自动驾驶车辆和高级驾驶辅助系统（ADAS）中。通过结合DRL和混合A*规划器，系统能够在复杂的交通环境中做出快速且合规的决策，这对于提升道路安全和交通效率具有重要意义。此外，该方法的可扩展性和适应性使其能够应对未来更加多样化和复杂的交通场景。