摘要

本文探讨了在训练机器学习模型时使用差分隐私（DP）技术来缓解隐私风险的问题。DP机制通过在训练过程中添加噪声来限制信息泄露的风险，而添加噪声的规模是决定隐私与效用之间权衡的关键因素。传统的做法是根据隐私预算参数ε来选择噪声规模，然后将ε转换为操作性攻击风险（如准确性或推断攻击的敏感性和特异性）。本文提出了一种直接将噪声规模校准到所需攻击风险水平的方法，从而在保持相同隐私水平的同时显著降低噪声规模，提高模型效用。通过实证研究，本文证明了在训练隐私保护的机器学习模型时，将噪声校准到攻击的敏感性/特异性而非ε，可以显著提高模型准确性。

原理

本文提出的方法通过直接校准噪声规模以满足特定的攻击风险水平，绕过了选择ε的中间步骤。具体来说，该方法利用f-DP（一种差分隐私的假设检验解释）来直接估计操作性隐私风险概念，并使用此算法直接校准噪声水平以满足给定的攻击风险水平。这种方法的关键在于，通过直接校准噪声到攻击的敏感性和特异性，而不是通过传统的ε校准，可以在保持相同隐私风险水平的同时，显著减少所需的噪声量，从而提高模型的效用。

流程

1. 确定目标攻击风险：首先确定所需的攻击风险水平，例如成员推断攻击的最大准确性或敏感性和特异性。
2. 计算噪声规模：使用提出的算法，计算满足这些攻击风险水平的噪声规模。
3. 训练模型：使用计算出的噪声规模进行模型训练。
4. 评估模型性能：在保持相同攻击风险水平的情况下，评估模型的性能，如准确性。

例如，在文本情感分类任务中，使用GPT-2模型进行微调，通过调整噪声规模，可以在保持相同隐私风险水平的情况下，提高模型的分类准确性。

应用

本文提出的方法适用于需要保护隐私的机器学习应用场景，特别是在数据敏感性高的领域，如医疗、金融和个人身份识别等。通过提高模型的效用，这种方法可以在不牺牲隐私的前提下，推动差分隐私技术在实际应用中的广泛采用。未来，这种方法还可以进一步扩展到其他类型的隐私保护技术和其他领域的应用中。