摘要

本文由GVS Mothish、Manan Tayal和Shishir Kolathaya共同撰写，介绍了一种名为BiRoDiff的扩散策略框架，用于双足机器人在未知地形上的运动控制。该框架的核心在于利用扩散模型学习单一的行走控制器，使其能够在多种地形上进行运动，特别是在未见过的地形上也能有效运作。这一技术的开发对于双足机器人在灾难响应和探索等实际应用场景中的实用性扩展具有重要意义。BiRoDiff框架通过离线数据学习，相较于在线学习，具有更好的可扩展性和训练方案的简洁性。此外，该控制器在模拟环境中展示了其对未见地形的泛化能力和高频控制步长生成的能力，相较于传统的生成模型，它在计算资源有限的情况下表现更为出色。

原理

BiRoDiff的工作原理基于扩散模型，这是一种概率模型，通过逐步添加噪声来破坏数据分布，并学习从噪声中恢复数据。具体来说，扩散模型通过一个前向扩散过程q(xt|xt−1)来逐步破坏数据结构，然后通过一个反向的迭代去噪过程pθ(xt−1|xt)来恢复数据。这种去噪过程是通过优化参数θ来最小化反向过程的负对数似然的变分边界来实现的。在机器人控制的应用中，扩散模型被用来同时预测多个时间步长的状态和动作，从而建立模型与规划之间的强关联。BiRoDiff通过这种机制，能够在一个可学习的潜在空间中生成适用于多种地形的行走行为，显示出其在处理多模态分布和序列相关性方面的先进性。

流程

BiRoDiff的工作流程包括数据收集、模型训练和策略采样三个主要阶段。首先，通过深度强化学习策略在模拟环境中收集观察-动作对的数据集。接着，使用这些离线数据训练扩散策略控制器，该控制器通过多层感知机（MLP）将观察转换为潜在观察，然后通过扩散网络去噪生成动作。在采样阶段，控制器在每个控制时间步长上根据当前观察生成动作，并将其应用于环境以获取下一个观察，从而实现连续的动作生成。这一流程在NVIDIA的Isaac Gym模拟环境中得到了验证，显示了其在多种地形上的有效性和泛化能力。

应用

BiRoDiff的应用前景广泛，特别适用于需要在未知地形上进行导航和操作的双足机器人。其能够在多种地形上实现敏捷的行走控制，使其在灾难响应、探索任务和复杂环境操作中具有巨大的潜力。随着进一步的研究和优化，BiRoDiff有望推动双足机器人在实际应用中的性能和适应性，特别是在需要高度自主性和适应性的场景中。