摘要

本文探讨了在自动化启发式设计（AHD）中，大型语言模型（LLM）与进化搜索策略结合的重要性。文章通过大规模基准测试，评估了四种基于LLM的进化程序搜索（EPS）方法在四个AHD问题上的表现，强调了进化搜索在提升LLM性能中的关键作用。研究结果表明，单纯依赖LLM的生成能力不足以有效解决AHD问题，而结合进化搜索策略可以显著提高解决方案的质量。此外，文章还讨论了不同LLM选择对性能的影响，并提出了未来EPS算法发展的建议。

原理

本文提出的LLM-based EPS方法的核心在于将候选解决方案（即启发式算法）表示为可执行的计算机程序，并利用进化计算（EC）范式来优化这些程序。LLM作为搜索的主要引擎，负责生成新的程序和引入现有程序的变异。具体来说，LLM通过上下文学习分析代码示例，生成可能改进的代码，通过合理的提示策略，LLM能够生成更多样化和有效的程序。这种方法克服了传统遗传编程（GP）需要明确指定函数集和基本集的限制，利用LLM的预训练和微调能力，使其能够设计出类似人类水平的代码。

流程

LLM-based EPS的工作流程包括以下几个关键步骤：

1. 初始化：使用模板启发式函数初始化种群。
2. 进化：通过遗传操作（如交叉和变异）生成新的个体。
3. 评估：使用预定义的评估器评估新生成的启发式函数。
4. 选择：根据评估结果选择表现最好的启发式函数。
5. 迭代：重复上述步骤，直到达到预设的终止条件。

例如，在旅行商问题（TSP）中，EoH方法通过GA框架，初始化种群后，通过交叉和变异操作生成新的启发式函数，然后评估这些函数的表现，选择表现最好的函数进行下一轮迭代。

应用

LLM-based EPS方法在自动化启发式设计领域展现出巨大的应用潜力，特别是在需要复杂启发式算法的领域，如组合优化、调度问题等。随着进一步的研究和优化，这种方法有望在更多实际应用中实现自动化和智能化，提高问题解决的效率和质量。