摘要

本文介绍了一种名为MUSE的全面机器遗忘评估基准，旨在解决语言模型（LMs）中数据遗忘算法的有效性和实用性评估问题。MUSE通过列举六种不同的遗忘模型期望属性，包括无逐字记忆、无知识记忆、无隐私泄露、保留非移除数据的效用、针对移除请求大小的可扩展性以及在连续遗忘请求中的可持续性，来评估八种流行的遗忘算法在7B参数LMs上的效果。研究结果表明，大多数算法在防止逐字记忆和知识记忆方面表现良好，但仅有一种算法未导致严重的隐私泄露。此外，现有算法未能满足部署者的期望，因为它们经常降低通用模型效用，并且无法可持续地适应连续的遗忘请求或大规模内容移除。

原理

MUSE评估基准通过定义六种期望属性来评估机器遗忘算法的效果。这些属性涵盖了数据所有者和模型部署者的需求。数据所有者要求模型在移除特定数据集后，不应再逐字复制文本内容、不应保留相关知识，并且不应泄露数据曾被用于训练的信息。模型部署者则希望遗忘算法能够在不影响模型效用的前提下，有效处理大量数据移除请求，并能在连续的遗忘操作中保持性能。通过这些标准，MUSE评估了不同遗忘算法在实际应用中的表现，并提供了详细的评估结果和分析。

流程

MUSE的工作流程包括以下几个步骤：

1. 数据准备：收集并分割数据集，包括遗忘集、保留集和保持集。
2. 模型训练：使用预训练的语言模型（如LLaMA-2 7B）进行微调，得到目标模型和重新训练模型。
3. 遗忘算法应用：对目标模型应用不同的遗忘算法，生成遗忘模型。
4. 评估指标计算：使用MUSE定义的六种评估指标，计算遗忘模型在各个方面的表现。
5. 结果分析：分析评估结果，确定各遗忘算法在不同属性上的表现，并进行比较。
6. 报告生成：生成详细的评估报告，包括各算法的性能数据和图表。

例如，在评估过程中，MUSE会使用特定的QA对和文本片段来测试模型是否能够正确遗忘指定的信息，并通过计算ROUGE-L F1分数等指标来量化遗忘效果。

应用

MUSE评估基准的应用前景广泛，特别是在需要处理隐私和版权问题的领域。随着数据保护法规（如GDPR）的实施和版权诉讼的增加，语言模型的数据遗忘能力变得尤为重要。MUSE不仅可以帮助开发者和研究人员改进遗忘算法，还可以作为评估工具，确保模型在实际部署中满足法律和伦理要求。此外，MUSE的评估方法和结果可以为政策制定者和监管机构提供参考，帮助他们理解和评估语言模型在数据遗忘方面的能力和限制。