摘要

本文介绍了一种名为“PWM: Policy Learning with Large World Models”的新型基于模型的强化学习（RL）算法。该算法通过预训练的大型多任务世界模型来学习连续控制策略，有效解决了在多任务环境中不同实体间的适应问题。PWM通过使用一阶梯度（FoG）优化策略，显著提高了任务解决的效率和奖励，尤其在高达152维动作空间和80任务设置中表现出色，无需昂贵的在线规划。此外，PWM展示了在复杂运动任务中的高效性能，超越了使用真实动力学模型的方法，为多任务策略学习开辟了新的途径。

原理

PWM的核心在于利用预训练的大型多任务世界模型作为可微分的物理模拟器，通过一阶梯度（FoG）进行策略优化。世界模型通过离线数据预训练，能够预测环境动态和奖励，从而为策略学习提供一个平滑且稳定的优化环境。PWM通过直接在预训练的世界模型上应用一阶梯度，避免了零阶方法中常见的高方差问题，实现了更快速和更稳定的策略学习。

流程

PWM的工作流程包括两个主要阶段：世界模型的预训练和策略的在线学习。首先，世界模型在离线数据集上进行预训练，学习环境的动态和奖励函数。随后，针对每个特定任务，PWM利用预训练的世界模型通过一阶梯度优化策略，这一过程在不到10分钟内完成。策略学习过程中，PWM采用了一种批量并行的方式，同时在多个虚拟轨迹上进行策略更新，确保了策略的高效性和稳定性。

应用

PWM算法在多任务连续控制领域展现出巨大的应用潜力，特别是在需要快速适应和高维动作空间的机器人和自动化系统中。其高效的策略学习和低成本的在线规划需求，使其成为未来智能机器人和自动化技术的重要发展方向。此外，PWM的框架也为进一步研究如何在更复杂的环境和更高的任务维度中扩展提供了基础。