摘要

本文介绍了一种创新的统一库，该库利用深度任何模型（DAM）和分割任何模型（SAM）来增强语言-视觉模型在零样本理解中的神经理解能力。这一库通过在符号实例级别融合分割和深度分析，为语言模型提供细致的输入，显著推进了图像解释。经过在各种真实世界图像中的验证，我们的发现展示了通过神经-符号集成在视觉-语言模型中的进步。这种新颖的方法以一种前所未有的方式融合了视觉和语言分析。总体而言，我们的库为未来研究开辟了新方向，旨在通过先进的多模态技术解码现实世界的复杂性。

原理

该论文的核心在于通过结合深度任何模型（DAM）和分割任何模型（SAM），以及GPT-4V，来增强视觉-语言模型的理解能力。DAM通过大规模未标记数据进行单目深度估计，引入了数据引擎来自动标注大量数据集，显著提高了零样本深度估计能力。SAM则通过创建一个包含超过10亿个掩码的庞大数据集，实现了零样本转移到新任务和分布的能力。这两种模型的结合使得视觉场景的理解更加丰富，能够处理复杂的组合知识学习任务。

流程

论文提出的图像理解库包括三个主要组件：首先，通过用户定义的文本提示，使用SAM模型区分实例级别的内在属性，如颜色和形状。其次，利用DAM模型提取用户感兴趣实例的深度信息。最后，通过组合推理模块整合知识，分析由组合关系表示的外在信息。例如，在处理一张自然场景的图像时，首先使用SAM模型生成每个实例的精确掩码，然后利用DAM模型获取每个实例的平均深度值，最后通过组合推理模块分析实例之间的关系。

应用

该论文提出的方法在多个领域具有广泛的应用前景，特别是在视觉问答（VQA）、场景理解和机器人技术中。通过增强视觉-语言模型的能力，该方法能够更准确地回答关于图像的复杂问题，如计数、关系识别等。此外，这种方法在自动驾驶和机器人导航中也显示出巨大的潜力，能够提供更精确的环境理解和决策支持。