摘要

本文探讨了如何将大型多模态模型（LMMs）扩展到广阔的3D环境中，特别是在搜救任务等机器人部署场景中的应用。当前LMMs面临的主要挑战是模型输入大小的限制，这限制了它们在大型环境中的有效性。为此，本文提出了一种新颖的方法，利用数据图（datagraph）结构和图遍历算法，使LMMs能够迭代查询大型环境中的较小部分，从而提高其在3D场景语言任务中的可扩展性。

原理

本文的核心创新在于引入数据图（datagraph）结构，这是一种图结构，其中每个节点代表环境的一个小区域，包含该区域的3D场景或其他数据形式。通过这种结构，LMMs可以逐步查询和处理环境的各个部分，而不是一次性处理整个大型环境。这种方法通过图遍历算法，如优先处理靠近机器人的区域或沿着特定路径查询，来优化查询过程，从而克服了传统LMMs在处理大型3D环境时的输入限制。

流程

论文中详细描述了两种图遍历算法的工作流程：

1. 基于机器人近邻的3D场景语言任务：该算法首先查询机器人当前位置附近的区域，然后逐步向外扩展，直到覆盖整个环境。例如，在搜救任务中，机器人可能需要找到附近的工具来打开一扇门，这种算法可以帮助机器人快速定位所需工具。
2. 沿导航路径的3D场景语言任务：这种算法沿着预定的路径查询环境中的各个节点，适用于需要评估路径安全性的任务，如引导受害者到安全地点。算法通过迭代查询路径上的每个节点，确保LMMs能够评估路径的安全性。

应用

本文提出的方法不仅限于3D场景，还可以扩展到其他密集型环境表示，如点云或高斯散斑。这使得该技术在多种机器人任务中具有广泛的应用前景，特别是在需要快速响应和精确环境理解的第一响应者场景中，如搜救、灾害响应等。