摘要

本文提出了一种名为Forecasting Model Search (FMS)的新型超参数优化(HPO)方法，该方法利用训练过程中的模型权重检查点来指导未来的超参数选择。FMS通过将权重嵌入到高斯过程深度核代理模型中，使用排列不变图元网络(PIGMN)来提高对记录网络权重的数据效率。这种方法在选择和微调预训练模型时表现出色，特别是在涉及预训练模型选择的场景中。此外，FMS的开源代码为复现和进一步研究提供了便利。

原理

FMS的核心在于利用训练过程中的模型权重检查点来指导超参数优化。具体来说，FMS通过PIGMN将这些检查点权重转化为特征，然后输入到高斯过程(GP)深度核代理模型中。这种方法不仅考虑了超参数配置和学习曲线，还额外考虑了模型权重，从而提供了关于模型架构、数据集和优化过程的丰富信息。通过这种方式，FMS能够在不同的计算预算下更有效地预测超参数性能，从而优化模型选择和微调过程。

流程

FMS的工作流程包括初始化数据集、选择超参数配置和预算、评估配置、更新数据集和GP模型参数等步骤。具体来说，FMS首先初始化包含预先评估配置、损失和预算的数据集D，然后使用梯度优化更新GP模型的参数。在计算预算未耗尽的情况下，FMS通过最大化多保真版本的预期改进(EI)获取函数来选择配置和预算，评估选定的配置，并更新数据集D。最后，FMS返回观察到的最佳性能配置。

应用

FMS的应用前景广泛，特别是在需要从模型库中选择和微调预训练模型的场景中。由于FMS能够有效利用训练过程中的权重检查点信息，它在处理多样化的架构和数据集时表现出色，有望在自动化机器学习(AutoML)和其他需要高效超参数优化的领域中发挥重要作用。