摘要

本文介绍了一种名为ProtoSAM的新框架，用于一次性医学图像分割。该框架结合了原型网络（Prototypical Networks）和Segment Anything Model (SAM)，后者是一种自然图像基础模型。ProtoSAM通过使用ALPNet原型网络和DINOv2编码器生成初始粗分割掩码，然后提取提示（如点和边界框）输入到SAM中，以实现高精度的自动分割。该方法在多个医学图像数据集上展示了最先进的结果，且无需对基础模型进行微调。

原理

ProtoSAM的工作原理分为两个主要阶段：初始分割阶段和提示提取阶段。在初始分割阶段，使用ALPNet框架，但将其编码器替换为DINOv2编码器，以从查询图像和支撑图像中提取特征。ALP模块从支撑特征图中提取局部原型，并通过余弦相似度与查询特征图进行比较，生成初始分割掩码。在提示提取阶段，从初始预测概率中提取提示，如点和边界框，这些提示随后被输入到SAM模型中，以生成最终的精细分割掩码。

流程

ProtoSAM的工作流程如下：首先，使用DINOv2编码器从查询图像和支撑图像中提取特征。然后，通过ALP模块从支撑特征图中提取局部原型，并与查询特征图进行比较，生成初始分割掩码。接着，从初始预测中提取提示，如点和边界框，这些提示被输入到SAM模型中，以生成最终的精细分割掩码。例如，在MRI和CT图像分割中，ProtoSAM能够有效地从单个图像示例中提取提示并生成高精度的分割结果。

应用

ProtoSAM的应用前景广泛，特别是在医学图像分割领域，如腹部器官分割、结肠镜检查中的息肉分割等。由于其能够在无需微调的情况下从单个图像示例中实现高精度分割，ProtoSAM在数据稀缺或需要快速适应新类别的场景中具有巨大潜力。此外，该方法还可以扩展到其他需要图像分割的应用领域。