摘要

本文介绍了一种名为FUNAvg的新型联邦学习方法，旨在解决在分布式、隐私保护环境下训练联合模型时遇到的部分标注问题。该方法通过学习一个联合的骨干网络，并为每个站点分配其独有的多标签分割头，利用贝叶斯技术观察到即使只在个别客户端的标签上训练，不同的分割头也能学习到其他未在相应站点出现的标签信息。这些信息被编码在它们的预测不确定性中。为了获得最终的预测，FUNAvg利用这种不确定性，对分布式分割头集合进行加权平均，从而能够分割“局部未知”的结构。实验结果表明，FUNAvg方法在性能上与在同一数据集上训练和测试的模型相当，甚至在某些情况下更优。

原理

FUNAvg方法的核心在于利用贝叶斯神经网络的不确定性进行加权平均。在训练阶段，每个站点优化其自己的分割头，而中央服务器仅在联邦方式下平均骨干网络。在推理阶段，所有分割头被收集，并计算softmax概率的加权平均，权重由各个标签在站点中出现的次数决定。通过利用分类器的预测不确定性，FUNAvg能够改善预测，特别是在联邦站点中代表性不足的标签。

流程

FUNAvg的工作流程包括两个主要阶段：训练和推理。在训练阶段，每个站点根据其拥有的标签数量优化其自己的分割头，而中央服务器仅在联邦方式下平均骨干网络。在推理阶段，所有分割头的softmax概率被收集并进行加权平均，权重由各个标签在站点中出现的次数决定。例如，对于一个像素的预测，通过重新加权背景概率的不确定性，可以获得正确的标签“脾”。对于整个图像，通过平均logits后，最终预测在肺区域的碎片化，而肺在不确定性估计中完全可见，因此通过将背景通道与不确定性的逆相乘来获得最终预测。

应用

FUNAvg方法在医学图像分割领域具有广泛的应用前景，特别是在处理多机构、多数据集的联合学习任务时。由于其能够有效利用分布式数据中的不确定性信息，FUNAvg有望在提高模型性能的同时，保护患者隐私，适用于各种需要高度精确和隐私保护的医疗图像分析场景。