摘要

本文介绍了一种名为“Ref-AVS”的新任务，该任务旨在通过包含多模态线索（如音频和视觉描述）的自然语言表达来分割视觉场景中的对象。传统参考分割任务主要集中在无声视觉场景上，忽略了多模态感知和交互在人类体验中的重要作用。为了支持这一研究，作者构建了首个Ref-AVS基准，提供了对象的像素级标注，并提出了一种新方法，该方法能够有效利用多模态线索进行精确分割。实验结果表明，该方法在三个测试子集上均优于现有方法，显示出其在使用多模态线索表达进行精确对象分割方面的有效性。

原理

Ref-AVS任务的核心在于利用多模态线索（包括音频、视觉和文本信息）来指导对象的分割。该方法通过一个端到端的框架实现，该框架包括一个跨模态transformer，能够有效地处理多模态线索。具体来说，该框架首先将音频、视觉和文本信息分别编码，然后通过一个融合模块将这些信息结合起来，形成一个综合的多模态参考特征。接着，利用注意力机制将这些多模态参考线索作为视觉基础模型的提示，从而实现最终的对象分割。这种方法的关键创新在于其能够同时处理多种模态的信息，并通过高级的语义理解来指导分割过程，从而提高了分割的准确性和鲁棒性。

流程

1. 数据准备：收集包含多模态信息的视频片段，并对这些视频中的对象进行像素级标注。
2. 特征提取：使用预训练的模型（如VGGish和RoBERTa）分别提取音频、视觉和文本特征。
3. 多模态融合：通过一个跨模态transformer将提取的特征融合，形成一个综合的多模态参考特征。
4. 分割指导：利用融合后的多模态特征作为视觉基础模型的提示，指导模型进行对象分割。
5. 结果输出：输出分割后的对象掩码，并与 ground truth 进行比较以评估性能。

应用

Ref-AVS技术在多个领域具有广泛的应用前景，特别是在需要精确对象识别和分割的应用中，如增强现实（AR）、虚拟现实（VR）和交互式媒体。此外，该技术还可以用于视频编辑、智能监控和自动驾驶等领域，通过精确识别和分割视频中的对象，提高系统的智能化水平和用户体验。