摘要

本文探讨了针对检索增强生成（RAG）系统的外部知识数据库的成员推理攻击（MIA）。RAG系统通过从外部非参数数据库检索相关知识来增强大型语言模型（LLM），以缓解幻觉和知识过时等问题。尽管现有研究表明RAG系统存在安全和隐私漏洞，但其外部数据库的安全性仍未得到充分探索。本文提出了一种仅使用黑盒API访问的MIA方法，通过计算样本与生成的文本之间的余弦相似度和模型的困惑度来确定样本是否属于RAG系统的知识数据库。实验结果显示，该方法在ROC AUC指标上达到了82%，表明其有效性和先进性。

原理

本文的核心假设是，如果一个样本属于RAG系统的知识数据库，那么生成的文本与该样本将表现出显著的相似性。为了验证这一假设，研究者计算了样本与生成文本之间的余弦相似度以及模型的困惑度，从而构建了一个鲁棒的成员分数。此外，本文还引入了两种新颖的攻击策略：基于阈值的攻击和基于机器学习的攻击，这两种策略旨在准确识别成员身份。这些方法的有效性通过实验得到了验证，显示了其在识别RAG系统知识数据库中样本的先进性。

流程

本文的工作流程如下：首先，使用目标样本的前半部分作为提示，通过RAG系统生成文本。然后，计算整个目标样本与生成文本之间的余弦相似度，以及模型的困惑度，以建立一个鲁棒的成员分数。最后，通过基于阈值的攻击和基于机器学习的攻击，利用这些分数来准确分类成员和非成员。例如，在实验中，研究者使用了HealthCareMagic-100k数据集，将其分为成员样本和非成员样本，并通过这些样本验证了攻击方法的有效性。

应用

本文提出的MIA方法不仅揭示了RAG系统外部知识数据库的安全漏洞，还为未来在安全和隐私保护领域的研究提供了新的方向。这些方法可以应用于各种需要保护敏感数据和隐私的场景，如医疗、金融和法律领域，强调了开发增强安全协议以保护敏感数据的重要性。