摘要

本文由Insung Yang和Jemin Hwangbo共同撰写，探讨了在四足机器人中使用6自由度（6-DoF）机械臂作为尾巴的创新应用。传统研究主要集中在通过附加功能单一的机器人尾巴来增强四足机器人的能力，但这些尾巴存在增加整体重量和成本的问题。本文提出了一种解决方案，即使用多功能机械臂作为尾巴，它不仅能作为尾巴增强机器人的稳定性，还能执行操作任务。研究团队开发了一种基于深度强化学习（DRL）的控制器，用于控制配备机械臂的机器人。实验结果表明，配备机械臂的机器人在快速转向、空中重定向和平衡等任务中表现优于未配备机械臂的机器人。这些发现表明，机械臂可以显著提高四足机器人的敏捷性和稳定性，同时保持其操作能力。

原理

本文的核心在于利用深度强化学习（DRL）技术来训练一个神经网络策略，以控制安装在四足机器人上的机械臂。研究采用了Proximal Policy Optimization（PPO）算法，这是一种先进的强化学习算法，用于更新策略并评估机器人在不同任务中的表现。PPO算法通过两个不同的神经网络架构——“演员”网络和“评论家”网络来实现。演员网络将观察结果映射到动作，而评论家网络评估当前状态的价值。这两个网络共同工作，使机器人能够在复杂环境中做出决策和评估性能。

流程

研究团队在模拟环境中部署了这一控制器，使用的是配备WidowX250S机械臂的Mini Cheetah机器人。工作流程包括三个主要任务：快速转向、空中重定向和平衡。每个任务都有特定的学习算法，但总体方法保持一致。例如，在快速转向任务中，机器人首先学习从静止位置转向，然后学习在运行中快速转向。通过逐步增加转向角度和速度，使用课程学习方法来提高学习的稳定性。在空中重定向任务中，机器人利用机械臂的惯性来调整身体方向，确保安全着陆。平衡任务则涉及训练机器人在行走时抵抗随机方向的外部冲击。

应用

本文的研究成果展示了机械臂作为四足机器人尾巴的巨大潜力，不仅提高了机器人的运动性能，还扩展了其在复杂环境中的应用范围。未来，这种技术可以应用于搜索救援、探险、军事侦察等多种场景，提高机器人在这些领域的操作效率和生存能力。