摘要

本文探讨了在高级空中机动性（AAM）操作中使用深度强化学习（DRL）进行应急管理（CM）的权衡。随着AAM操作中车辆能力和密度的增加，提高自动化水平对于实现操作安全和效率目标至关重要。文章提出了一种基于DRL的框架，用于训练能够监测和响应相关风险的代理，并在模拟环境中进行评估。通过比较学习型代理和传统技术，文章展示了DRL在复杂和高维度环境中的潜在性能。此外，文章还介绍了AAM-Gym测试平台，这是一个用于快速原型设计、模拟和分析新型AI/ML安全管理解决方案的框架。

原理

深度强化学习（DRL）是一种通过试错与环境交互来学习策略的机器学习方法。在本文中，DRL被用于训练代理，使其能够在模拟的AAM环境中识别和响应各种风险。DRL的核心在于其能够处理高维状态空间和复杂决策过程的能力，这使得它特别适合于需要快速适应动态变化环境的应用。通过构建马尔可夫决策过程（MDP）模型，代理能够学习如何在不同情况下采取最优行动，从而实现安全高效的空中交通管理。

流程

文章中描述的DRL代理的训练和评估流程包括以下几个关键步骤：

1. 环境设置：使用AAM-Gym框架创建模拟的AAM操作环境。
2. 代理训练：通过一系列复杂的任务逐步训练代理，每个任务都增加了环境的复杂性，如引入风场和人口密度模型。
3. 性能评估：在训练完成后，代理在模拟环境中进行测试，评估其在实际操作中的表现。
4. 结果分析：收集并分析代理在模拟操作中的行为数据，包括飞行路径、应急响应和整体性能指标。

应用

本文提出的DRL框架和AAM-Gym测试平台为未来AAM操作中的自动化和安全管理提供了强有力的工具。随着技术的进一步发展和验证，这些方法有望被广泛应用于实际的空中交通管理系统中，特别是在需要高度自动化和快速决策支持的场景中。此外，这种方法也为其他领域的复杂决策问题提供了借鉴和参考。