摘要

本文介绍了一种名为“Safe CoR”的创新框架，该框架通过结合模仿学习和安全强化学习，利用约束奖励来解决自动驾驶等复杂动态环境中的安全性和可靠性问题。Safe CoR框架通过两种专家演示——专注于性能优化的奖励专家演示和优先考虑安全的专家演示，指导代理在追求奖励最大化的同时遵守安全约束。实验结果显示，该框架在真实世界的Jackal平台上提高了算法性能39%，并将约束违规减少了88%，显示出在安全可靠的自主代理领域具有显著的应用前景。

原理

Safe CoR框架的核心在于利用两种类型的专家演示来优化强化学习算法。奖励专家演示专注于最大化奖励，而安全专家演示则优先考虑安全约束。通过计算约束奖励（CoR），框架引导代理在模仿奖励专家以最大化奖励的同时，使用安全专家作为正则化器以确保满足约束条件。CoR通过评估代理状态与两组演示状态的相对距离来工作，从而在奖励和安全之间找到平衡点。

流程

Safe CoR框架的工作流程包括以下步骤：首先，收集奖励专家和安全专家的演示数据；其次，计算每个状态的约束奖励（CoR）；然后，将CoR作为额外的奖励组件整合到强化学习算法中，引导代理在追求高奖励的同时遵守安全约束；最后，在多种环境中测试和验证框架的有效性。例如，在Metadrive模拟器中，代理通过遵循CoR指导，成功提高了驾驶性能并减少了违规行为。

应用

Safe CoR框架的应用前景广泛，特别适用于自动驾驶、机器人导航和其他需要高度安全性和可靠性的自主系统。通过在复杂环境中有效平衡性能和安全，该框架有望推动自主代理技术在实际应用中的进一步发展，特别是在高风险和动态变化的环境中。