摘要

本文介绍了一种名为RoboPack的新型框架，该框架通过学习结合视觉和触觉感知的神经动力学模型，使机器人能够在密集包装等任务中理解和操纵具有未知物理属性的物体。RoboPack采用循环图神经网络来估计物体状态，包括粒子和物体级别的潜在物理信息，并进行未来状态预测。该模型通过真实世界数据学习，能够解决下游机器人任务，如非抓握操纵和密集包装，其中机器人必须从直接和间接交互中推断物体的物理属性。

原理

RoboPack的核心在于其触觉感知的动力学模型，该模型通过结合历史视觉-触觉观测来估计物体状态，并预测未来状态。模型使用循环图神经网络（GNN）来处理和整合来自视觉和触觉传感器的数据，从而生成物体状态的低维表示。这些表示不仅包括物体的位置和形状，还包括潜在的物理属性，如物体的柔软度或刚度。通过这种方式，RoboPack能够在没有明确物理参数的情况下，通过学习历史交互数据来预测物体的动态行为。

流程

RoboPack的工作流程包括四个主要步骤：感知、状态估计、动力学预测和基于模型的规划控制。首先，感知模块从场景中提取粒子作为视觉表示，并将触觉读数编码为潜在嵌入。接着，状态估计器从先前的交互中推断物体状态。然后，动力学预测模型根据估计的当前状态和潜在动作预测未来状态。最后，通过模型预测控制（MPC）优化动作计划，以最小化最终状态与目标状态之间的成本。

应用

RoboPack的应用前景广泛，特别适用于需要复杂物体交互和高度遮挡场景的任务，如家庭服务、物流包装和工业装配。由于其能够从有限的数据中学习并适应新环境，RoboPack有望提高机器人在未知和动态环境中的操作能力和效率。