摘要

本文介绍了一种名为MoE-CT的新型架构，旨在解决大型语言模型（LLMs）在扩展到多语言环境时遇到的灾难性遗忘问题。传统持续训练（CT）方法在增强低资源语言性能的同时，往往牺牲了模型在高资源语言上的原始能力。MoE-CT通过冻结原始LLM的参数，同时引入一个专门训练在多语言数据集上的MoE模块，有效地保护了高资源语言的性能，并显著提升了低资源语言的处理能力。实验结果表明，该方法在多语言基准测试中表现优异，且不会损害模型在原始语言上的性能，展示了强大的抗遗忘能力和优越的迁移学习能力。

原理

MoE-CT的核心创新在于其架构设计，它将基础模型的学习过程与多语言扩展过程分离。具体来说，基础LLM的参数被冻结，确保其在高资源语言上的性能不受影响。同时，通过添加一个MoE模块，该模块由多个专家网络组成，每个专家网络负责学习特定的语言或特征子空间，从而增强模型的学习能力和泛化性能。MoE模块通过一个门控机制动态地整合来自基础模型和专家网络的知识，这种设计使得模型能够在保留原有能力的同时，有效地学习新的多语言能力。

流程

MoE-CT的工作流程包括以下几个关键步骤：首先，基础LLM的参数被冻结，防止在多语言训练过程中发生灾难性遗忘。接着，MoE模块被添加到模型中，该模块包含多个专家网络，每个网络专门处理特定的语言数据。门控机制根据输入动态选择激活哪些专家网络，并将它们的输出与基础模型的输出进行融合，生成最终的模型输出。这种动态融合机制确保了模型能够有效地结合新旧知识，实现多语言能力的扩展。

应用

MoE-CT架构的应用前景广泛，特别适用于需要处理多语言数据的大型语言模型。它不仅能够提升模型在低资源语言上的性能，还能保持甚至提升在高资源语言上的表现，这对于全球化的语言处理任务尤为重要。此外，MoE-CT的抗遗忘能力和迁移学习能力使其在不断变化的语言环境中具有持续学习和适应的潜力，为未来的语言技术研究提供了新的方向。