摘要

本文介绍了一种名为FedMap的新型迭代幅度剪枝方法，旨在提高联邦学习（FL）部署的通信效率。联邦学习是一种分布式机器学习方法，允许在分散的数据上进行训练，同时保护隐私。然而，FL系统中的客户端设备通常资源受限，包括计算能力、内存、存储和带宽。FedMap通过协作学习逐渐稀疏的全局模型，确保所有客户端对全局模型参数的相同子集进行剪枝和细化，从而逐步减少全局模型的大小和通信开销。FedMap的关键优势在于能够从零开始训练全局模型，适用于医疗和金融等隐私敏感领域，这些领域通常缺乏合适的预训练数据。通过广泛的评估，FedMap在IID和非IID环境中均显示出稳定的客户端模型性能，为缓解FL系统中的通信瓶颈提供了有前景的解决方案。

原理

FedMap的核心原理是利用迭代幅度剪枝技术，确保所有客户端在相同的剪枝掩码下对全局模型进行剪枝和细化。这种方法通过逐渐减少模型参数的数量，从而降低通信开销。FedMap的关键创新在于其迭代剪枝策略，其中后续模型是前一模型的子集，避免了参数“重新激活”的问题，确保了模型性能的稳定。此外，FedMap不需要传输剪枝掩码信息，进一步减少了通信需求。

流程

FedMap的工作流程包括以下步骤：

1. 客户端从服务器接收全局模型更新。
2. 客户端使用剪枝掩码对全局模型进行剪枝。
3. 客户端在本地数据上训练剪枝后的模型。
4. 客户端将剪枝后的模型更新发送回服务器。
5. 服务器聚合所有客户端的更新，生成新的全局模型。
6. 重复上述步骤，直到模型达到预定的剪枝比例或性能目标。

具体示例：在CIFAR-10数据集上，使用ResNet56模型，客户端首先接收全局模型，然后根据预定的剪枝策略对模型进行剪枝。剪枝后的模型在本地数据上进行训练，并将更新发送回服务器。服务器聚合这些更新，生成新的全局模型，并将其发送回所有客户端。这个过程不断重复，直到模型达到90%的剪枝比例，同时保持较高的准确率。

应用

FedMap的应用前景广泛，特别适用于资源受限的客户端设备，如物联网（IoT）设备、移动设备和边缘计算节点。由于其能够从零开始训练全局模型，FedMap在医疗、金融和其他隐私敏感领域的应用尤为重要。此外，FedMap的通信效率优势使其成为大规模分布式学习场景中的理想选择，有助于推动联邦学习在实际应用中的普及和扩展。