摘要

本文探讨了在大型语言模型（LLMs）中个性化偏好优化的影响，揭示了知识损失与偏好异质性之间的显著关系。尽管先前的研究利用KL约束来维持参考模型与策略模型之间的一致性，但在面对个性化偏好时，这些方法未能有效保持通用知识和一致性。为此，本文引入了基于锚定的偏好优化（BAPO）方法，该方法通过利用参考模型的初始响应来减轻遗忘，同时适应个性化的一致性。BAPO在适应多样化用户偏好的同时，最小程度地影响全局知识或通用一致性。实验证明，BAPO在多种设置下均有效。

原理

BAPO的核心原理是利用参考模型的初始响应（称为基础响应）来指导策略模型的优化过程，从而在个性化偏好优化的同时保持模型的全局知识和通用一致性。具体来说，BAPO通过以下步骤实现：

1. 基础响应的利用：在优化过程中，BAPO确保策略模型生成基础响应的概率与参考模型保持一致。这通过引入一个锚定损失（LAnchor）来实现，该损失衡量策略模型与参考模型在生成基础响应上的概率差异。
2. 偏好优化：除了锚定损失外，BAPO还包含一个直接偏好优化（DPO）损失，该损失用于优化策略模型以更好地匹配用户偏好。
3. 联合优化：BAPO通过联合优化锚定损失和DPO损失，确保模型在适应个性化偏好的同时，不会遗忘基础响应所包含的全局知识和通用一致性。

流程

BAPO的工作流程如下：

1. 数据准备：收集包含用户查询和相应响应的数据集，其中每个查询对应多个响应，包括一个基础响应和多个个性化响应。
2. 模型初始化：初始化参考模型和策略模型，其中参考模型已经过监督微调（SFT）以对齐通用人类偏好。
3. 锚定损失计算：对于每个查询，计算策略模型生成基础响应的概率与参考模型之间的差异，并将其作为锚定损失。
4. 偏好优化损失计算：计算策略模型生成个性化响应的概率，并利用DPO损失来优化这些响应以更好地匹配用户偏好。
5. 联合优化：通过联合优化锚定损失和DPO损失，更新策略模型的参数，使其在保持全局知识和通用一致性的同时，更好地适应个性化偏好。
6. 评估与迭代：在验证集上评估模型的性能，并根据评估结果调整优化参数，重复上述步骤直至达到预定的性能标准。

应用

BAPO方法在个性化语言模型优化领域具有广泛的应用前景。它不仅可以用于改进聊天机器人和虚拟助手，使其更好地理解和适应用户偏好，还可以应用于内容推荐系统、个性化教育工具和定制化医疗咨询等领域。通过保持模型的全局知识和通用一致性，BAPO有助于构建更加可靠和用户友好的个性化服务。