摘要

本文介绍了一种基于相似性的特征上采样方法，旨在解决图像分割任务中特征上采样的基本问题。传统的相似性特征上采样方法存在一些局限性，如高分辨率（HR）查询和低分辨率（LR）关键特征未能在可控方式下对齐，相似性计算缺乏灵活性，以及邻域选择在LR特征上粗糙操作导致马赛克伪影。为了克服这些问题，作者提出了一种全新的相似性特征上采样框架——ReSFU，通过精心优化每个方法设计，实现了在直接高比例上采样中的广泛应用，并在多种分割任务中展现了卓越的通用性和部署便利性。

原理

ReSFU框架的核心在于其对特征对齐、相似性计算和邻域选择的精细优化。首先，通过语义感知和细节感知的显式可控查询-关键特征对齐，提高了特征对齐的准确性。其次，采用参数化的配对中心差分卷积块（PCDC）来灵活计算对齐的查询-关键特征之间的相似性，增强了相似性计算的灵活性和准确性。最后，通过在HR特征上实施细粒度邻域选择策略，有效减少了马赛克伪影。这些设计的结合使得ReSFU能够在不同的网络架构中实现直接高比例的特征上采样，而无需复杂的迭代过程。

流程

ReSFU的工作流程包括以下几个关键步骤：

1. 特征对齐：使用引导滤波器（GF）优化原始线性投影的HR查询特征，并进行可控变换以促进与关键特征的语义对齐。同时，采用高斯平滑处理HR查询特征，以帮助实现HR特征的自对齐，更好地保留细节。
2. 相似性计算：将对齐的查询-关键特征对输入到PCDC块中，通过学习参数化的卷积操作来计算特征对之间的相似性。
3. 邻域选择：在HR特征上进行细粒度邻域选择，确保每个HR像素的邻域选择基于双线性上采样的HR版本的LR特征，从而减少马赛克伪影。
4. 上采样：利用计算得到的相似性分数进行特征上采样，生成高分辨率的特征图。

应用

ReSFU框架的先进性在于其能够适用于各种类型的网络架构，包括但不限于语义分割、医学图像分割、实例分割和全景分割等多种应用场景。其直接高比例上采样的能力使得ReSFU在实际部署中具有极高的灵活性和效率，预示着在图像处理和计算机视觉领域的广泛应用前景。