摘要

本文提出了一种基于深度强化学习（Deep Reinforcement Learning, DRL）的自动化程序生成框架，用于生成自动驾驶车辆在地下车库场景中的不利模拟测试环境。该框架能够生成不同的二维地面脚本代码，进而构建三维模型文件和地图模型文件，并在Carla模拟器中展示生成的三维地面场景，供实验者用于导航算法模拟测试。本文的主要贡献包括：1）提出了一种新的自动化方法，用于生成自动驾驶地下车库场景，显著减少了实验者在构建静态场景上的时间；2）采用先进的强化学习方法，设计环境和奖励函数，以获得更高质量的编码；3）生成了多样化的不利场景，设计了基于规则的验证指标，以区分不同地下车库的难度级别。

原理

该框架的核心在于利用深度强化学习自动生成地下车库的静态场景。首先，通过深度强化学习算法生成二维编码矩阵，该矩阵代表了车库的平面结构。随后，将每个编码矩阵的块映射到三维场景中，并添加额外的静态障碍物，如柱子和屏障，生成三维模型文件。最后，将编码矩阵中的道路块转换为道路网络格式信息，生成道路网络文件。整个过程通过定义数学模型、设计环境和奖励函数，以及生成三维地图模型来实现。

流程

1. 生成二维网格地图，每个网格代表车库中的最小可分离块，如道路块和停车空间块。
2. 将编码矩阵的每个块映射到三维场景中，并添加静态障碍物。
3. 将编码矩阵中的道路块转换为道路网络格式信息，生成道路网络文件。
4. 将生成的三维模型文件和道路网络文件导入Carla模拟器，进行导航算法模拟测试。

应用

该框架生成的地下车库场景可广泛应用于自动驾驶车辆的模拟测试，特别是在自动化停车任务（AVP）中。通过生成多样化的不利场景，可以有效提高自动驾驶系统的测试覆盖率和算法鲁棒性，为自动驾驶技术的安全性和可靠性提供支持。