摘要

本文由Shiyu Zhang、Haoyang Song、Qixin Wang和Yu Pei等研究者提出，针对强化学习（RL）程序测试中的“预言机问题”，即定义RL程序正确性的难题，提出了一种利用模糊逻辑的自动化预言机方法。该预言机通过量化代理对奖励策略的行为合规性，并分析其在训练回合中的趋势，来判断RL程序是否存在缺陷。研究在不同复杂度的RL程序上进行了评估，并与人工预言机进行了比较，结果显示在复杂环境中，模糊预言机表现优于人工预言机，显示出在复杂情况下提高RL程序测试效率和可靠性的潜力。

原理

本文提出的模糊逻辑引导的奖励函数变化预言机，通过两个启发式方法来评估RL程序的行为合规性。启发式1关注代理在训练过程中对奖励策略的合规性趋势，若趋势不符合预期，则标记程序为“有缺陷”。启发式2检查在合规性值时间序列收敛后是否存在行为异常，若发现异常，同样标记为“有缺陷”。这两个启发式方法结合模糊逻辑，通过量化合规性值来评估RL程序的正确性，从而自动化地解决预言机问题。

流程

预言机的工作流程包括初始化、训练和日志分析三个阶段。在初始化阶段，生成一组意图策略及其对应的奖励函数。训练阶段，对每个意图策略执行RL程序P，并记录训练过程中的状态-动作轨迹。日志分析阶段，计算学习策略相对于意图策略的合规性值时间序列，并分析其趋势。最后，根据趋势分析结果判断程序是否有缺陷。具体算法和步骤在文中详细描述，展示了如何系统地测试RL程序。

应用

本文提出的模糊逻辑预言机方法在复杂RL程序测试中显示出优越性能，尤其在人工测试难以覆盖的场景中。该方法的应用前景广阔，可用于视频游戏、推荐系统、机器人控制等多个领域，提高RL系统的可靠性和效率。未来研究可进一步优化参数设置，扩展到更多RL算法和环境中，以实现更广泛的应用。