摘要

本文介绍了一种名为“Differentially Private Synthetic Data Aided Federated Learning Using Foundation Models (DPSDA-FL)”的新型数据增强策略，旨在解决联邦学习（FL）中数据分布不均匀（Non-IID）的问题。通过利用基于基础模型的差分隐私合成数据，DPSDA-FL能够改善本地模型的训练，从而提高全局模型的分类准确性和召回率。实验结果显示，在CIFAR-10数据集上，DPSDA-FL能够将全局模型的分类准确率提高9%，召回率提高26%。

原理

DPSDA-FL的核心在于使用预训练的基础模型生成差分隐私的合成数据，以增强联邦学习中的数据多样性和质量。差分隐私（DP）技术确保了合成数据生成过程中的隐私保护，避免了原始数据信息的泄露。基础模型如Open AI的Stable Diffusion和DALL.E，能够生成高质量的合成数据，这些数据在保持隐私的同时，有效地辅助了本地模型的训练。

流程

DPSDA-FL的工作流程分为两个主要阶段：首先，每个参与的客户端使用基础模型生成差分隐私的合成数据，并将部分合成数据共享给中央服务器，形成全局合成数据集。接着，服务器将这些全局合成数据分发给所有客户端，用于增强本地数据集。通过这种方式，客户端能够获得原本缺乏的数据类别，从而改善本地模型的训练，最终提升全局模型的性能。

应用

DPSDA-FL的应用前景广阔，特别是在需要处理敏感数据如医疗和金融数据的机构中。通过提高模型在非独立同分布数据上的性能，DPSDA-FL有助于构建更加可靠和高效的联邦学习系统，推动跨机构间的数据协作，同时遵守如GDPR和HIPAA等隐私保护法规。