摘要

本文介绍了一种名为iLLM-TSC的创新框架，该框架结合了强化学习（RL）和大型语言模型（LLM），旨在改善交通信号控制（TSC）策略。面对城市拥堵这一严峻挑战，传统的RL-based TSC系统往往忽视了由于通信降级（如数据包丢失、延迟和噪声）导致的不完美观察，以及奖励函数中未考虑的罕见现实事件（如紧急车辆）。iLLM-TSC框架通过利用LLM的泛化能力和逻辑推理能力，有效地管理了这些被忽视的元素和状态信息缺口，从而提升了RL代理的策略。该框架能够无缝集成到现有的RL-based TSC系统中，无需进行修改。实验证实，在通信降级条件下，iLLM-TSC相比传统RL方法平均减少了17.5%的等待时间，显示出其在智能交通系统中实际应用的巨大潜力。

原理

iLLM-TSC框架的核心在于其双步骤决策过程。首先，RL代理根据观察到的数据做出初步决策，利用其从特定环境中学习的能力。随后，LLM代理通过考虑RL代理未使用的实时额外信息（如紧急车辆的存在）来细化这些决策。这种集成不仅增强了系统的响应性和适应性，还使得TSC系统在标准条件下保持高效，同时在长尾或降级通信场景中显示出更高的鲁棒性。LLM的引入不仅补充了RL在处理复杂环境中的不足，还通过其强大的模型能力和预训练的全球知识，帮助RL代理在决策过程中更好地适应现实世界环境。

流程

iLLM-TSC的工作流程包括以下几个关键步骤：

1. RL代理根据实时交通数据做出初步决策。
2. 将交通场景转换为LLM可理解的自然语言描述。
3. LLM评估RL代理的决策，考虑更广泛的环境上下文。
4. 如果LLM发现决策不合理，将进行相应的调整。
5. 最终决策被应用于交通信号控制系统。 例如，在处理紧急车辆的情况下，LLM会识别到紧急车辆的存在，并调整交通信号以优先让紧急车辆通过，而不仅仅是基于交通流量做出决策。

应用

iLLM-TSC框架的应用前景广泛，特别适用于需要高度适应性和鲁棒性的智能交通系统。该框架不仅能够改善日常交通管理，还能有效应对紧急情况和通信降级等复杂场景。随着智能城市和自动驾驶技术的发展，iLLM-TSC有望成为优化交通信号控制的关键技术，进一步提升城市交通效率和安全性。