加速联邦边缘学习:联合优化资源分配与数据选择的创新方法

Joint Optimization of Resource Allocation and Data Selection for Fast and Cost-Efficient Federated Edge Learning

摘要

本文探讨了在无线边缘部署联邦学习(FEEL)时面临的资源分配和数据选择问题。由于FEEL系统中通信资源有限且设备上的数据可能存在标签错误,不当的资源分配或数据选择会损害收敛速度并增加训练成本。因此,本文强调联合优化资源分配和数据选择,以实现高效的FEEL系统。通过严格建模训练过程并推导FEEL一轮收敛率的上界,本文建立了一个联合资源分配和数据选择的问题,并通过变量替换将其转化为可解形式,进而分解为两个子问题:资源分配问题和数据选择问题。基于匹配理论和凸-凹过程及梯度投影方法,本文设计了一个低复杂度的次优算法来解决这两个子问题。最后,通过数值结果验证了所提出方案的优越性。

原理

本文的核心在于通过联合优化资源分配和数据选择来加速联邦边缘学习(FEEL)的收敛并降低训练成本。首先,通过数学建模训练过程,推导出FEEL一轮收敛率的上界,并建立了一个联合优化问题。由于该问题无法直接求解,本文采用变量替换将其转化为更易处理的形式,并分解为资源分配和数据选择两个子问题。这两个子问题分别是混合整数非凸和整数非凸问题,求解难度较大。基于匹配理论和凸-凹过程及梯度投影方法,本文提出了一种低复杂度的次优算法来分别解决这两个子问题。

流程

  1. 问题建模与转化:首先,通过数学建模FEEL的训练过程,推导出收敛率的上界,并建立了一个联合资源分配和数据选择的问题。由于该问题无法直接求解,通过变量替换将其转化为更易处理的形式,并分解为资源分配和数据选择两个子问题。
  2. 资源分配问题求解:使用匹配理论和凸-凹过程(CCP)方法,设计了一个低复杂度的算法来解决资源分配问题。该算法通过迭代优化,逐步找到资源分配的最优解。
  3. 数据选择问题求解:对于数据选择问题,首先进行连续松弛,然后使用梯度投影方法求解松弛后的问题。最后,通过λ-表示方法将连续解转化为整数解,得到数据选择的最优解。
  4. 算法迭代与收敛:通过迭代求解资源分配和数据选择问题,最终得到联合优化问题的解。算法通过多次迭代,逐步逼近最优解,并在一定条件下收敛。

应用

本文提出的联合优化资源分配和数据选择的方法,适用于各种需要高效利用有限通信资源和处理可能存在标签错误数据的场景。特别是在智能医疗、自动驾驶和产品推荐等应用中,该方法能够显著提高模型训练的效率和准确性,降低训练成本,具有广泛的应用前景。