摘要

本文探讨了多模态学习中缺失模态的问题，特别是在实际应用中，由于设备限制和工作条件，推理阶段往往难以收集完整的多模态数据。现有的解决方案主要分为数据插补和公共子空间方法。然而，这些方法存在内在的类内表示方向约束，限制了模型捕捉不同模态组合特定信息的能力。为此，本文提出了一种新颖的解耦多模态表示网络（DMRNet），通过将不同模态组合的输入建模为概率分布，而不是潜在空间中的固定点，从而放松了对推理表示的约束，使模型能够捕捉到不同模态组合的特定信息。此外，还引入了一个硬组合正则化器，以防止DMRNet在训练中不平衡，通过引导模型更多关注硬模态组合。实验结果表明，DMRNet在多模态分类和分割任务中显著优于现有技术。

原理

DMRNet的核心创新在于解耦训练和推理表示，通过概率分布建模来处理多模态数据的缺失问题。具体来说，DMRNet将每个模态组合的输入视为潜在空间中的概率分布，而不是单一的固定点。这种分布的均值用于推理，而从中采样的嵌入用于计算任务损失。通过这种方式，损失最小化带来的方向约束被采样的表示所阻断，从而放松了对推理表示的约束。此外，通过引入硬组合正则化器，DMRNet能够更有效地处理不平衡的模态组合训练问题。

流程

DMRNet的工作流程包括两个主要部分：解耦多模态表示和硬组合正则化器。首先，解耦多模态表示模块将输入数据转换为概率分布，从中采样用于训练的嵌入，而分布的均值用于推理。其次，硬组合正则化器通过挖掘具有高方差的硬模态组合，并为其引入独立的梯度路径，从而鼓励模型更多地关注这些组合。整个训练过程通过结合传统的目标任务损失、分布正则化项和硬组合正则化损失来优化。

应用

DMRNet的设计使其能够广泛应用于需要处理不完整多模态数据的各种视觉任务，如分类、检测和分割。其对缺失模态的鲁棒性和对模态特定信息的有效捕捉，使其在实际应用中具有巨大的潜力，尤其是在设备受限或工作条件复杂的环境中。