摘要

本文探讨了在语言模型（LMs）中应用差分隐私（DP）技术对原始文本进行隐私保护处理后，模型对刻板印象关联的影响。研究通过测试BERT模型在包含偏见陈述的文本上进行预训练，发现随着隐私保护程度的加强，刻板印象偏见总体上有所减少，但并非在所有社会领域均匀减少。这强调了在部署隐私保护语言模型时，需要仔细诊断偏见的重要性。

原理

本文的关键工作原理在于通过差分隐私技术对文本进行隐私保护处理，具体是通过在模型训练过程中的梯度上注入加性噪声来实现。这种处理方式确保了模型输出不会因训练数据集中单个条目的添加或移除而受到影响。研究进一步利用词嵌入空间中词的几何接近性，提出了一种基于度量差分隐私（metric DP）的概率机制，该机制通过扰动文本中的所有词来确保文本来源和内容的合理否认性。

流程

研究的工作流程包括预训练BERT模型，使用掩码语言建模和下一句预测任务，对从网络上抓取的文本进行修改，以适应不同程度的隐私保护。随后，通过Nadeem等人的上下文关联测试和Nangia等人的刻板印象对基准测试，对模型的刻板印象偏见进行评分。研究发现，随着隐私保护程度的加强，刻板印象偏见总体上有所减少，但并非在所有社会领域均匀减少。

应用

本文的研究结果表明，隐私保护技术在减少语言模型中的刻板印象偏见方面具有潜力，但需要在不同社会类别中进行细致的偏见测量。这一发现对于开发更加公平和隐私保护的语言模型具有重要意义，特别是在需要处理敏感信息的应用场景中，如法律、医疗和教育领域。