摘要

本文由Zichao Shen等人撰写，探讨了强化学习（RL）在复杂游戏任务中评估策略轨迹的挑战，特别是在设计全面且精确的奖励函数方面的困难。文章提出了一种基于大型语言模型（LLMs）的自动偏好生成框架LLM4PG，该框架利用LLMs抽象轨迹、排序偏好并重建奖励函数，以优化条件策略。实验表明，LLM4PG能有效加速RL算法的收敛，并克服原始奖励结构下的停滞问题，减少对专业人类知识的依赖，展示了LLMs在复杂环境中增强RL效能的潜力。

原理

LLM4PG框架的核心在于利用大型语言模型（LLMs）的能力来抽象化代理与环境交互的轨迹，并通过这些抽象信息来生成偏好排序，进而重建奖励函数。LLMs通过理解自然语言描述的轨迹信息，能够评估不同轨迹的优劣，并据此调整奖励函数，使得代理能够根据这些改进的奖励信号进行更有效的学习和决策。这一过程不仅减少了人工设计奖励函数的复杂性和成本，还提高了RL在复杂约束环境下的适应性和效率。

流程

LLM4PG的工作流程分为两个主要阶段：首先是训练奖励预测器的阶段，其次是将奖励预测器与下游强化学习算法整合的阶段。在第一阶段，系统通过语言解释器将代理的轨迹信息转换为自然语言描述，然后利用LLMs进行偏好排序，并基于这些偏好数据训练奖励预测器。在第二阶段，利用训练好的奖励预测器提供的奖励信号，结合如PPO等强化学习算法，进一步训练代理的决策网络模型。具体示例中，代理在执行任务时，如成功完成任务但过程中有不当行为（如打破花瓶），LLMs会根据预设的偏好规则评估并调整奖励，指导代理优化其行为。

应用

LLM4PG框架的应用前景广泛，特别是在需要复杂约束处理和稀疏奖励的环境中，如游戏AI、自动驾驶、机器控制和电网调度等领域。通过自动生成和调整奖励函数，LLM4PG不仅提高了RL算法的效率和适应性，还降低了专业知识的依赖，为RL在更广泛实际场景中的应用开辟了新的可能性。