摘要

本文介绍了在大规模语言模型（LLMs）中观察到的“生成单一文化”现象，即模型在特定任务上的输出多样性相对于训练数据的显著缩小。例如，模型可能只生成正面书籍评论，即使书籍的评价是混合的。文章通过分析书籍评论和代码生成任务，展示了这一现象的普遍性，并指出简单的对策如改变采样或提示策略不足以缓解这一行为。文章还指出，生成单一文化的根本原因可能嵌入在LLM的对齐过程中，因此需要开发新的微调范式来保持或促进多样性。

原理

生成单一文化的定义是，对于给定任务，模型生成的数据的某个属性（如情感或算法使用）的概率分布比源数据（即人类生成的训练数据）更窄。这种现象可以通过统计分散度量（如熵）来形式化。文章通过比较源数据和模型生成数据的分散度，展示了模型输出在多样性上的显著减少。这种减少不仅限于特定任务，而是跨多个应用领域和LLMs普遍存在。

流程

文章通过以下步骤来测量和分析生成单一文化：首先，定义生成单一文化的概念并与其他相关主题进行比较；其次，引入一种范式来测量LLMs中的生成单一文化；然后，通过实验证据展示生成单一文化在多个应用领域的普遍性，并探讨可能加剧这一现象的因素；最后，展示几种减轻生成单一文化的方法的效果。实验中使用了多种LLMs，包括Llama-2-chat和GPT-4，通过改变温度、采样策略和提示内容来测试其对生成多样性的影响。

应用

生成单一文化现象的发现对LLMs的应用具有重要意义，特别是在教育、网络搜索等高影响力领域。保持LLM输出的多样性对于确保长期内事实和观点的多样性至关重要。文章建议未来的研究应开发新的微调方法，以在不牺牲模型性能的前提下增强输出的多样性。