β-DPO：动态优化大型语言模型的人类偏好对齐

Posted on in CS.AI • 15 words • 1 minute read
Last updated on

$β$-DPO: Direct Preference Optimization with Dynamic $β$

摘要

本文介绍了一种名为β-DPO的新框架，旨在通过动态调整β参数来优化直接偏好优化（DPO）方法，以适应成对数据的信息量变化。该框架通过β引导的数据过滤和批量级动态β校准，显著提高了DPO在不同模型和数据集上的性能，为大型语言模型（LLMs）与人类反馈的对齐提供了一个更稳健和适应性强的训练范式。

原理

β-DPO框架的核心在于动态调整β参数，以适应不同质量的成对数据。β参数在DPO中用于平衡原始参考模型和新的偏好模型之间的更新。传统的DPO方法中，β值是静态的，而β-DPO通过引入动态β校准和数据过滤机制，使得β值能够根据数据质量动态调整。具体来说，β-DPO在每个批次中根据数据质量动态校准β值，同时通过β引导的数据过滤机制减少异常值的影响，从而提高模型的稳定性和性能。

流程

β-DPO的工作流程包括以下步骤：

  1. 从偏好数据集中采样一个批次。
  2. 计算每个样本的个体奖励差异（即获胜响应和失败响应之间的奖励差异）。
  3. 使用移动平均更新方案更新阈值M0和标准差σ。
  4. 根据概率p(Mi)选择批次中的一部分样本进行过滤。
  5. 使用公式计算批量级的β值。
  6. 计算损失并更新模型参数。
  7. 重复上述步骤直到模型收敛。

应用

β-DPO框架的应用前景广泛，特别是在需要与人类反馈对齐的大型语言模型训练中。通过提高DPO的性能和稳定性，β-DPO可以应用于各种自然语言处理任务，如对话生成、文本摘要和问答系统等。此外，该框架的模块化设计使其易于集成到现有的DPO框架中，为未来的研究和开发提供了灵活性和扩展性。