摘要

本文探讨了在软件3.0时代，将大型模型压缩并集成到软件系统中对社会公平性的影响。文章指出，尽管模型压缩技术在减少模型大小和复杂性方面取得了显著进展，但这些技术往往会影响模型的公平性能，从而影响基于深度神经网络（DNN）的软件的伦理行为。特别是，流行的模型剪枝方法——彩票假设（LTH）在选择子网络和训练过程中存在公平性问题。为了解决这一问题，本文提出了一种新的剪枝框架——Ballot，该框架采用基于冲突检测的子网络选择方法，结合改进的训练过程，以找到既准确又公平的子网络，从而提高基于DNN的软件的公平性。通过在五个流行数据集和三个广泛使用的模型上的评估，Ballot在公平性方面比现有基线方法有显著提升。

原理

Ballot框架的核心在于其创新的基于冲突检测的子网络选择和训练优化策略。在子网络选择阶段，Ballot通过分析每个神经元在训练过程中对公平性和准确性损失函数的梯度，识别出那些在公平性和准确性优化方向上存在冲突的神经元，并生成相应的掩码来移除这些神经元。这种策略确保了选择的子网络在关注关键特征的同时，不会引入偏见。在训练优化阶段，Ballot采用动态调整学习率的策略，以促进模型学习更丰富的特征，并通过重新加载早期训练轮次的权重来迭代训练模型，直到无法进一步提高性能。这种训练方法旨在最大化子网络的性能潜力，同时确保模型的公平性。

流程

Ballot的工作流程包括以下几个关键步骤：

1. 标准训练过程：首先对随机初始化的模型进行标准训练，同时记录每个神经元在每一轮训练中对公平性和准确性损失的梯度。
2. 冲突检测与掩码生成：利用记录的梯度信息，识别出在公平性和准确性优化方向上存在冲突的神经元，并生成相应的掩码来移除这些神经元。
3. 剪枝与重新训练：应用生成的掩码对模型进行剪枝，然后重新训练剪枝后的模型，采用动态调整学习率的策略，并在必要时重新加载早期训练轮次的权重进行迭代训练。
4. 性能验证：在训练完成后，验证剪枝后模型的公平性性能，如果性能不佳，则继续迭代训练直到性能无法进一步提升。

应用

Ballot框架的应用前景广泛，特别是在需要高公平性和准确性的DNN应用场景中，如人工智能生成内容（AIGC）、自动驾驶等。通过提高模型的公平性，Ballot有助于构建更加公正和可信赖的AI系统，这对于社会的长远发展和伦理建设具有重要意义。此外，Ballot的高效性和显著的公平性提升也使其成为未来AI模型压缩和优化研究的重要方向。