摘要

本文介绍了一项名为“3D推理定位”的新任务，旨在通过结合推理和定位能力，使模型能够根据隐含的人类指令在3D场景中定位目标物体并提供相应的解释。为了推动这一领域的发展，研究团队引入了名为ScanReason的新基准，该基准提供了超过10,000个问题-答案-位置对，涵盖五种推理类型。此外，研究团队设计了ReGround3D方法，该方法通过视觉中心推理模块和3D定位模块的协同工作，以及推理和定位步骤的交替机制，显著提高了模型在复杂3D场景中的定位能力。实验结果验证了所提方法的有效性，并展示了其在机器人和增强现实等应用中的广阔前景。

原理

ReGround3D方法的核心在于其视觉中心推理模块和3D定位模块的协同工作。视觉中心推理模块利用多模态大型语言模型（MLLM）进行3D场景和指令的联合推理，预测代表目标物体语义和位置信息的特殊标记。3D定位模块则利用这些标记嵌入，通过回顾3D场景的精细几何和细节，精确地定位目标物体。此外，提出的链式定位机制（Chain-of-Grounding）通过交替进行推理和定位步骤，进一步增强了模型的3D推理定位能力。这种机制允许模型在推理过程中主动寻找有助于解决问题的相关物体，并在后续的推理阶段利用这些物体的信息，从而更精确地找到目标物体。

流程

ReGround3D的工作流程包括以下几个关键步骤：

1. 视觉中心推理：模型首先对3D场景和人类指令进行联合推理，预测一个包含目标物体语义和位置信息的特殊标记。
2. 3D定位：利用标记的嵌入，模型回顾3D场景，通过几何增强的回顾机制捕捉场景的精细几何和对象细节，从而精确地定位目标物体。
3. 链式定位机制：在推理和定位之间交替进行多个回合，每个回合中，模型根据当前的推理结果定位物体，并将定位结果反馈回推理过程，以进一步细化推理和定位。

例如，在处理一个复杂的指令如“我渴了，能给我点喝的吗？”时，模型首先进行初步推理，识别出可能的饮料相关物体，然后通过回顾3D场景中的细节，精确地定位这些物体，并最终提供详细的解释和定位结果。

应用

ReGround3D方法在机器人导航、增强现实、虚拟现实和智能家居等领域具有广泛的应用前景。通过精确理解和响应复杂的3D场景中的隐含指令，该方法能够使机器人和虚拟助手更加智能和用户友好，提供更加个性化和适应性强的服务。此外，随着技术的进一步发展，该方法还有望在医疗、教育和其他需要复杂空间推理能力的领域发挥重要作用。