摘要

本文介绍了一种名为MagMax的持续学习方法，该方法通过模型合并技术，使大型预训练模型能够不断从新数据中学习，同时保留先前获得的知识。与传统的持续学习方法旨在减少任务训练期间的遗忘不同，MagMax结合了顺序微调与最大幅度权重选择，以有效整合跨任务的知识。研究首先广泛探讨了模型合并技术，发现简单的权重平均和随机权重选择在多种持续学习情境中表现出色。更重要的是，MagMax作为一种新颖的模型合并策略，能够在连续任务中持续学习大型预训练模型。通过全面的评估，MagMax在包括类和域增量学习设置在内的多种场景中显示出优越性。

原理

MagMax的工作原理基于两个关键步骤：顺序微调和知识整合。在顺序微调阶段，模型在新任务上进行微调，但起点是前一任务微调后的权重，这有助于减少模型合并时的干扰。在知识整合阶段，通过创建任务向量（即微调后模型与预训练模型权重的差异），并使用最大幅度选择策略来合并这些任务向量。具体来说，对于每个参数，选择所有任务向量中幅度最大的值，然后将合并后的任务向量应用于预训练模型，以获得一个多任务模型。这种策略确保了模型在不断学习新任务的同时，能够保留和整合先前的知识。

流程

MagMax的工作流程包括以下步骤：

1. 顺序微调：模型在每个新任务上进行微调，起点是前一任务的微调权重。
2. 创建任务向量：计算每个任务微调后的模型权重与预训练模型权重的差异，形成任务向量。
3. 最大幅度选择：对于每个参数，从所有任务向量中选择幅度最大的值。
4. 应用合并任务向量：将通过最大幅度选择合并的任务向量应用于预训练模型，形成新的多任务模型。
5. 持续学习：重复上述步骤，直到所有任务完成。

应用

MagMax的应用前景广泛，特别是在需要模型不断适应新数据和任务的领域，如自动驾驶、医疗诊断和个性化推荐系统。由于其能够有效减少遗忘并整合新旧知识，MagMax有望在未来的机器学习系统中发挥重要作用，特别是在数据和任务不断变化的动态环境中。