摘要

本文探讨了离线强化学习（Offline RL）在处理现实世界数据中常见的噪声和错误时的挑战。传统基于时间差分的离线RL方法在数据质量较差时表现不佳，尤其是在数据量有限的情况下。为此，研究者提出了基于序列建模的Robust Decision Transformer（RDT），通过引入高斯加权学习、迭代数据校正和嵌入丢弃等技术，显著提高了模型在数据损坏情况下的鲁棒性。实验结果表明，RDT在多种数据损坏场景下均优于传统方法，展现了序列建模在处理离线RL数据损坏问题中的潜力。

原理

RDT的核心在于其序列建模方法和引入的多种鲁棒性技术。首先，RDT采用决策变换器（DT）作为基础，将强化学习问题转化为一个监督学习任务，通过预测回报-到-去（return-to-go）、状态和动作的序列来直接预测动作。在此基础上，RDT引入了三种增强鲁棒性的技术：

1. 高斯加权学习：通过使用高斯权重调整样本损失，减少错误标签对模型训练的影响，从而提高模型对数据损坏的抵抗力。
2. 迭代数据校正：在训练过程中，RDT使用模型预测来迭代校正数据集中的错误数据，使其更接近真实值，进一步减少损坏数据的影响。
3. 嵌入丢弃：通过随机丢弃特征嵌入的部分维度，增强模型对错误输入的鲁棒性，避免模型过度依赖特定特征。 这些技术的结合使得RDT能够在面对随机和对抗性数据损坏时保持高性能。

流程

RDT的工作流程包括以下几个步骤：

1. 数据预处理：从离线数据集中提取序列数据，并进行必要的预处理。
2. 模型训练：使用高斯加权学习方法训练模型，同时监控并更新预测误差的分布信息。
3. 数据校正：在训练过程中，根据模型预测误差的分布，识别并校正数据集中的损坏数据。
4. 嵌入丢弃：在模型训练过程中应用嵌入丢弃技术，增强模型对错误输入的鲁棒性。
5. 模型评估：在多种数据损坏场景下评估RDT的性能，确保其在实际应用中的有效性。

应用

RDT的提出为离线强化学习在实际应用中的可靠性提供了新的解决方案。由于其强大的数据损坏处理能力和高效的序列建模方法，RDT有望在机器人控制、自动驾驶、工业自动化等多个领域得到广泛应用。特别是在数据质量难以保证的场景中，RDT能够提供更加稳定和可靠的决策支持。