摘要

本文探讨了参数高效微调（PEFT）与检索增强生成（RAG）在大规模语言模型中的应用，特别是对比了GPT和RETRO两种模型架构。论文展示了RETRO模型在零样本设置中由于其独特的预训练过程而优于GPT模型，但GPT模型通过PEFT方法展现出更高的性能潜力。研究还发现，80亿参数模型在成本和性能之间达到了最佳平衡，而P-tuning在PEFT技术中表现相对落后。此外，论文首次全面比较了多种PEFT方法与RAG的集成，应用于GPT和RETRO模型，强调了它们的相对性能。

原理

论文中提到的PEFT方法包括P-tuning、Adapters和LoRA。P-tuning通过训练连续的提示嵌入来指导特定任务的输出，而不修改基础模型参数。Adapters通过在基础模型中插入全连接层并冻结其余参数来操作。LoRA则进一步将插入的层分解为低秩矩阵，提高了效率。检索增强生成（RAG）通过整合外部知识（如BM-25或TFIDF）来提高模型质量。RETRO模型通过在transformer架构中直接集成检索模块，利用分块交叉注意力机制，能够扩展到数万亿个令牌，从而降低困惑度。

流程

论文中详细描述了实验设置，包括使用的六个数据集和模型规模。实验使用了从8.23亿到480亿参数不等的GPT和RETRO模型。在检索过程中，使用了Dragon+作为检索器，通过编码问题和文档块来检索最相关的5个块。在参数高效微调过程中，P-tuning、Adapters和LoRA层被插入到transformer块中，包括在RETRO模型的编码器中。实验结果显示，RETRO在零样本设置中表现更好，而GPT通过PEFT方法展现出更高的性能潜力。

应用

论文的研究结果表明，参数高效微调（PEFT）和检索增强生成（RAG）的结合为大规模语言模型的适应性和效率提供了新的方向。这些方法在学术和工业应用中具有广泛的应用前景，特别是在需要特定任务适应和独特信息处理的场景中。此外，80亿参数模型在成本和性能之间的平衡使其成为许多应用的理想选择。