摘要

本文介绍了一种名为FedMRL的新型联邦多智能体深度强化学习框架，旨在解决医疗影像诊断中联邦学习（FL）面临的数据异质性问题。FedMRL通过引入一种新颖的损失函数来促进客户端之间的公平性，并使用多智能体强化学习（MARL）方法计算个性化局部目标函数的近端项（µ），确保收敛到全局最优。此外，FedMRL在服务器端采用自组织映射（SOM）进行自适应权重调整，以应对客户端本地数据分布的偏移。实验结果表明，FedMRL在处理高度异质性数据时显著优于现有技术，显示出在联邦学习中处理数据异质性的有效性。

原理

FedMRL的核心在于其三项创新：1) 通过MARL的QMIX算法动态计算适应性µ值，考虑了客户端特定的数据分布、数据量和性能反馈，实现动态正则化调整；2) 引入一种新颖的损失函数，旨在最小化每个客户端损失与全局损失之间的差异，减少对特定客户端或群体的偏见；3) 使用SOM在服务器端进行自适应权重调整，优先考虑数据分布相似的客户端，通过余弦相似度确定权重。这些机制共同作用，确保了在数据高度异质的环境中，模型训练的公平性和有效性。

流程

FedMRL的工作流程包括以下步骤：1) 每个医院下载初始全局模型权重，进行本地SGD训练，并上传本地模型权重到服务器；2) 执行QMIX代理，根据当前策略确定近端项µ值；3) 执行SOM进行权重聚合，考虑模型相似性进行自适应调整；4) 将更新后的全局模型权重分发回所有客户端，进行下一轮通信。这一流程通过算法1详细描述，并在图2中展示了架构细节。

应用

FedMRL的应用前景广阔，特别适用于医疗影像分析等需要处理高度异质性数据的场景。其能够确保在数据分布不均的情况下，各参与方公平地贡献数据，同时保持模型性能。未来，FedMRL有望扩展到更多领域，如金融、零售等，处理多样化和分布不均的数据集。