摘要

本文探讨了在机器学习（ML）模型训练过程中，如何通过约束贝叶斯优化（CBO）来最小化能源消耗，同时确保模型的预测性能不低于预设阈值。随着ML模型规模的不断扩大，其训练过程中的能源成本已成为一个不容忽视的问题。本文提出的CBO方法在多个回归和分类任务中进行了评估，结果显示该方法能够在不牺牲预测性能的前提下显著降低能源消耗。

原理

本文的核心在于使用约束贝叶斯优化（CBO）来优化机器学习算法的能源消耗。CBO是一种适用于黑箱优化问题的有效框架，特别适用于函数评估成本高且梯度信息不易获取的情况。在本文中，CBO被用于自动调整ML模型的超参数，主要目标是减少能源消耗，同时确保模型的泛化性能达到某个预设的阈值。具体来说，CBO通过定义一个联合获取函数，其中可行区域同时学习目标函数和约束函数，从而在满足性能约束的同时找到最小化能源消耗的超参数设置。

流程

CBO的工作流程包括以下几个关键步骤：

1. 定义目标函数和约束条件：目标函数是训练ML模型所需的时间（τ(x)），约束条件是模型的预测性能（如分类任务中的准确率或回归任务中的均方误差）必须达到或超过某个基准值（c0）。
2. 选择代理模型：使用高斯过程（GP）来建模目标函数和约束函数，通过定义对数变换来确保GP能够有效建模。
3. 选择获取函数：使用期望改进（EI）作为目标函数的获取函数，概率可行性（PoF）作为约束函数的获取函数，并通过联合获取函数来同时考虑这两个因素。
4. 优化过程：通过迭代优化过程，CBO在满足约束条件的同时不断寻找最小化目标函数的超参数设置。

应用

CBO在机器学习领域的应用前景广阔，特别是在需要大规模数据和高容量模型的现代ML应用中。通过有效减少能源消耗，CBO有助于推动ML研究的可持续发展，特别是在数据中心和云计算环境中，能源效率的提升将直接转化为成本的降低和环境影响的减少。此外，CBO的方法论也可以扩展到其他需要考虑多目标优化的领域，如公平性、硬件架构等。