摘要

本文由Youngkyung Seo等人提出，针对多会话对话系统中记忆管理的挑战，介绍了一种基于小规模语言模型（sLLM）的高效且准确的记忆对话模型。该模型利用Direct Preference Optimization（DPO）算法，通过三种方法（SFT、DPO和DPO with SFT）有效地管理记忆，以准确反映对话历史。实验结果显示，该模型在记忆准确性和响应生成性能上均有显著提升，即使在模型规模较小的情况下，也能展现出优于大参数模型的性能。

原理

本文提出的对话模型通过DPO算法优化记忆管理，该算法通过直接偏好优化来提取和更新反映因果关系的准确记忆信息。DPO算法通过生成负样本并利用这些样本来训练模型，以更好地捕捉对话上下文中的因果信息。这种方法不仅减少了幻觉和上下文误解的问题，还提高了模型在多会话对话中的记忆更新和响应生成的准确性。

流程

模型的工作流程包括两个主要模块：记忆管理模块和对话生成模块。记忆管理模块负责存储和更新来自先前对话会话的说话者话语信息，而对话生成模块则利用这些更新后的记忆来生成更一致和准确的响应。具体流程如下：

1. 记忆管理模块在每个对话会话结束后，根据先前的说话者信息更新当前会话的内容，使用DPO算法优化这一过程。
2. 对话生成模块接收来自记忆管理模块的更新记忆作为输入，结合当前会话的上下文生成响应。
3. 通过这种方式，模型能够有效地利用先前的对话历史，生成更加连贯和相关的对话响应。

应用

该模型在多会话对话系统中具有广泛的应用前景，特别是在需要个性化响应和连续对话记忆的场景中。例如，在客户服务、个人助理和教育辅导等领域，该模型能够提供更加精准和个性化的交互体验。此外，由于其高效的资源利用和较小的模型规模，该模型也适用于资源受限的环境，如移动设备和嵌入式系统。