摘要

本文介绍了一种名为MARS的先进框架，旨在精确感知铰接物体的关节参数，这对于服务机器人的功能至关重要。传统的研究主要依赖于单一的点云数据，忽略了重要的纹理和光照细节，并假设理想的观察视角，这在现实世界中并不常见。MARS通过多模态融合模块和基于强化学习的主动感知策略，实现了对铰接物体关节参数的精确估计，并能在非理想视角下自主优化观察视角，显著提高了机器人在复杂环境中的操作效率和准确性。

原理

MARS框架的核心在于其多模态特征融合感知（MFFP）和主动感知（AS）两个主要组件。MFFP利用ResNet18和PointNet++作为骨干网络，从输入的RGB图像和点云数据中高效提取特征。通过多层对战模块（MLDM），MARS能够策略性地提取并加权不同尺度的图像特征。随后，通过基于transformer编码器的融合模块，将多尺度RGB特征和点云特征整合在一起。AS模块则基于感知评分和设定阈值，当评分低于阈值时，触发视角改变，通过强化学习驱动的策略，动态调整相机位置，确保获取最具信息量的视角。

流程

MARS的工作流程从机器人选择一个物体部分开始，然后输入相应的RGB图像和点云数据到感知网络中，以确定该部分的移动性和识别关节参数。如果该部分被认为是可移动的，并且感知评分超过阈值，机器人将根据识别的关节参数和操作命令规划操作序列。在检测到非理想视角时，机器人会调整其视角进行进一步评估，确保与铰接物体的可靠和精确交互。

应用

MARS框架的应用前景广泛，特别是在需要精确感知和操作铰接物体的服务机器人领域。其能够在复杂和遮挡的现实世界环境中有效工作，提高了机器人在家庭、医疗和工业等领域的应用潜力。此外，MARS的强化学习策略也为未来在更广泛的应用场景中实现自主优化和适应性提供了可能。