摘要

本文探讨了大型语言模型评估中的一个基本问题，即“测试任务训练”（training on the test task）。与训练测试数据、数据泄露或数据污染等不当行为不同，测试任务训练是指在语言模型的预训练阶段包含与任务相关的数据的一系列技术。文章通过实验证明，测试任务训练会混淆相对模型评估和关于模型涌现能力的声明。为了解决这一问题，作者提出了一种有效的方法，即在评估前对每个模型进行相同的任务相关数据微调。实验结果显示，一旦调整了测试任务训练的影响，模型间的性能差异和涌现行为实例大多消失。这一研究对大型语言模型的基准测试和涌现能力研究具有广泛的影响。

原理

测试任务训练的工作原理在于，大型语言模型在预训练阶段通过包含与特定任务相关的数据，能够更好地理解和执行这些任务。这种训练方式使得模型在面对特定任务时表现更优，因为它已经“见过”类似的任务数据。然而，这种做法也导致了模型之间的比较变得复杂，因为不同模型可能接触到的任务相关数据量不同，从而影响了它们在特定任务上的表现。通过在评估前对所有模型进行相同的任务相关数据微调，可以消除这种不公平的优势，使得模型之间的比较更加公正。

流程

1. 数据收集：收集与特定任务相关的数据集，如MMLU和GSM8K。
2. 模型选择：选择一系列不同规模和家族的语言模型进行评估。
3. 预训练：对选定的模型进行预训练，部分模型在预训练阶段包含了任务相关数据。
4. 微调：在评估前，对所有模型进行相同的任务相关数据微调。
5. 评估：使用LM Evaluation Harness库对模型进行评估，确保评估的一致性和公正性。
6. 结果分析：分析微调前后模型的性能差异，验证测试任务训练对模型性能的影响。

应用

该研究提出的方法不仅适用于大型语言模型的基准测试，还可以推广到其他类型的机器学习模型评估中。通过确保模型在评估前接受相同的任务相关数据微调，可以更准确地比较不同模型的性能，从而推动模型设计和训练策略的优化。此外，这种方法还有助于更深入地理解模型的涌现能力，为未来的研究提供新的视角和方法。