摘要

本文介绍了一种名为HypeMeFed的新型联邦学习框架，旨在解决由于客户端能力异质性带来的挑战。HypeMeFed通过结合多出口网络架构和基于超网络的模型权重生成，有效地适应了客户端资源的多样性，并解决了在权重聚合过程中每层信息差异的问题。此外，本文还提出了一种基于低秩分解的方法，以最小化与超网络相关的计算和内存开销。通过在真实世界异质设备测试平台上进行的评估，HypeMeFed在准确性、内存需求和操作加速方面均显示出显著优势，证明了其在利用和吸引异质客户端进行联邦学习方面的有效性。

原理

HypeMeFed的核心在于其多出口神经网络架构和超网络权重生成机制。多出口架构通过在神经网络中引入多个中间分类层（出口层），使得不同计算能力的客户端可以选择适合自己资源的子网络进行训练。超网络则用于生成缺失的权重信息，特别是在深度模型中，通过训练一个神经网络来预测和生成这些缺失的权重，从而解决信息差异问题。此外，通过低秩分解（LRF）策略，HypeMeFed能够有效地压缩神经网络参数，减少计算负载和内存需求，使得超网络在联邦学习环境中的应用更加高效和可行。

流程

HypeMeFed的工作流程包括以下几个关键步骤：首先，服务器根据客户端的计算资源分配全局模型参数，客户端根据自身能力选择相应的子网络进行训练。其次，客户端使用本地数据进行模型训练，并通过联合损失函数整合所有可用出口的预测结果。训练完成后，客户端将训练好的模型参数发送回服务器。服务器利用客户端数据训练超网络，并生成缺失的权重信息。最后，服务器聚合这些参数，生成更新后的全局模型。这一流程确保了HypeMeFed能够有效地利用不同能力的设备，提升联邦学习的整体性能和包容性。

应用

HypeMeFed框架适用于需要处理异质性客户端的联邦学习场景，特别是在移动和嵌入式设备中，这些设备通常具有不同的处理能力、内存容量和可用能量。通过有效地适应和利用这些异质性，HypeMeFed能够提升模型性能，加速训练过程，并减少内存需求，从而在智能城市、健康监测和自动驾驶等多个实际应用领域展现出广阔的应用前景。