摘要

本文探讨了现有计算机视觉方法在刚性物体识别上的广泛应用，而柔性物体识别领域仍未得到充分探索。柔性物体因其多变的形状、尺寸、半透明属性、模糊边界及细微的类别差异，识别难度极大。本文提出了一种名为Flexible Vision Graph Neural Network (FViG)的新方法，通过优化物体的自显著性来提高柔性物体表示的区分度。具体而言，该方法通过提取邻近节点的权重来最大化通道感知显著性，适应柔性物体的形状和尺寸变化；同时，基于聚类的空间感知显著性用于聚合邻近信息，为表示学习引入局部上下文信息。此外，本文首次提出了柔性物体数据集(FDA)，该数据集包含从现实场景和在线资源收集的各种柔性物体图像。大量实验证明，该方法在增强柔性物体区分度方面表现有效。

原理

Flexible ViG的核心在于通过两种显著性学习机制来优化柔性物体的识别：通道感知显著性和空间感知显著性。通道感知显著性通过动态捕捉节点间关系，提取每个通道的权重显著性信息，适应柔性物体多变的形状和尺寸，从而提高模型对细粒度特征的敏感性。空间感知显著性则通过节点级聚类，聚合被忽视的邻近节点信息，更新中心节点，增强局部上下文交互，提升区分不同类别柔性物体的能力。这两种机制共同作用，使得模型能够更有效地捕捉和利用图像中的关键特征，从而提高柔性物体的识别准确性。

流程

Flexible ViG的工作流程包括图嵌入、关系度量、图注意力、图生成与聚类以及图推理学习。首先，将图像分割成多个小块，并通过图嵌入将它们转换为节点向量。然后，计算每个节点与其邻近节点的欧氏距离，构建图结构。接下来，通过通道感知显著性和空间感知显著性机制，动态捕捉节点间的关系，并聚合邻近节点的信息。最后，通过图推理学习过程，更新节点特征，并通过前馈神经网络映射节点特征，完成柔性物体的识别。具体示例中，模型能够根据中心节点的内容，有效选择相关邻近节点，从而提高识别柔性物体的效率。

应用

Flexible ViG的应用前景广泛，尤其在需要精确识别柔性物体的领域，如早期火灾检测、天气预报和气候监测、合成图像中的光晕识别等。该方法的有效性不仅在提出的FDA数据集上得到验证，还展示了在其他领域应用的潜力。随着更多高质量数据集的开发和算法的进一步优化，Flexible ViG有望在更多复杂场景中实现高效、准确的柔性物体识别。