摘要

本文针对机器学习模型中数据删除的挑战，提出了一种利用自然梯度下降（Natural Gradient Descent, NGD）的高效算法，以避免从头开始重新训练模型。该算法在凸模型中提供了强有力的隐私保证，并为非凸模型开发了一种实用的Min/Max优化算法。通过全面的评估，该算法在隐私性、计算效率和泛化能力方面显著优于现有方法，推动了机器遗忘理论和实践的发展。

原理

本文提出的算法基于自然梯度下降（NGD），这是一种预处理梯度下降更新的算法，使用底层统计模型的Fisher信息矩阵的逆。通过将经验风险最小化（ERM）问题视为最大似然估计问题，首先为凸模型开发了一种算法，证明其在保持强遗忘保证的同时，比基于牛顿步的现有方法更计算高效。利用NGD对大型模型的适应性，为现实场景设计了一种基于Min/Max优化过程的实用遗忘算法。该算法在多个方面优于最先进的遗忘算法。

流程

算法的工作流程包括以下步骤：

1. 初始化模型参数。
2. 对于每个训练周期，执行以下步骤： a. 从遗忘集U中采样一批数据，并使用自然梯度上升更新模型参数。 b. 从保留集S\U中采样一批数据，并使用自然梯度下降更新模型参数。 c. 更新平滑参数。
3. 发布修改后的模型参数。

应用

该算法在数据删除和模型隐私保护方面具有广泛的应用前景，特别是在需要高效处理大量数据和模型的场景中。随着数据保护法规的日益严格，如欧盟的通用数据保护条例（GDPR），该算法为实现大规模机器遗忘提供了有效的解决方案。