探索高得分区域:基于扩散模型的离线模型基础优化新方法
摘要
本文介绍了一种新颖的条件生成建模方法,用于解决离线模型基础优化(MBO)问题,通过学习从数据集中构建的合成轨迹来改进解决方案。该方法首先构建朝向高得分区域的合成轨迹,并注入局部偏差以保持改进方向的一致性。随后,训练一个条件扩散模型,生成基于得分的轨迹。最后,通过引导采样从训练模型中采样多个轨迹,探索数据集外的高得分区域,并使用代理函数在生成的轨迹中选择高保真设计。实验结果表明,该方法在Design-Bench及其变体上优于竞争基线。
原理
本文提出的方法通过以下关键步骤实现其先进性:首先,利用数据集构建朝向高得分区域的合成轨迹,同时引入局部偏差以确保改进方向的一致性。接着,训练一个条件扩散模型,该模型能够一次性生成整个轨迹,避免了错误累积,并使用辅助代理函数进行条件生成。在训练完成后,通过分类器无指导采样和上下文条件化,从模型中采样多个轨迹。最后,通过代理函数筛选出高保真设计。这种方法的创新之处在于,它不仅生成单一设计,而是生成一系列朝向高得分区域的设计,从而更有效地利用了目标函数景观的信息。
流程
本文方法的工作流程包括四个主要阶段:1) 从数据集构建轨迹,同时注入局部偏差以引导生成器学习目标函数景观的知识;2) 训练条件扩散模型和代理模型;3) 通过分类器无指导采样和上下文条件化,从扩散模型中采样多个轨迹;4) 通过代理函数筛选出高保真设计。具体示例包括在Design-Bench任务上的广泛实验,展示了该方法在不同实际场景下的有效性。
应用
本文提出的方法在科学和工程领域的复杂高维黑箱函数优化中具有广泛的应用前景,特别是在生物序列设计、材料发现和机械设计等领域。该方法的通用性和高效性使其能够处理稀疏或噪声数据集,显示出在实际应用中的强大潜力。
