摘要

本文介绍了一种名为Meta Large Language Model Compiler（LLM Compiler）的新型大型语言模型，专门设计用于代码和编译器优化任务。LLM Compiler基于Code Llama模型构建，通过训练大量编译器中间表示（IR）和汇编代码，增强了模型对编译器优化技术的理解。该模型经过5460亿个令牌的训练，并进行了指令微调，以模拟编译器行为。LLM Compiler的发布旨在为学术研究人员和行业从业者提供一个可扩展、成本效益高的基础，以进一步研究和开发编译器优化技术。

原理

LLM Compiler通过接受源程序的完整、无损表示作为输入，利用文本作为机器学习优化器的输入和输出表示。这种处理方式具有通用性、便携性和易访问性，不限于任何特定任务。模型通过预训练和指令微调两个阶段进行训练，首先在大规模未标记的编译器IR和汇编代码上进行预训练，然后在特定编译器模拟数据集上进行指令微调，以预测优化后的输出和效果。

流程

LLM Compiler的工作流程包括四个阶段：预训练、编译器模拟、标志调优微调和反汇编微调。每个阶段都涉及大量的数据处理和模型训练。例如，在编译器模拟阶段，模型通过生成大量示例，应用随机生成的编译器优化序列到这些程序上，然后训练模型预测优化后的代码。具体示例包括将未优化的代码样本和随机传递列表提供给优化工具，生成优化后的代码（IR或汇编），并将传递列表和输入代码作为提示，生成的输出代码作为标签进行模型训练。

应用

LLM Compiler的应用前景广泛，包括但不限于代码优化、编译器标志调优、反汇编任务等。通过提供预训练模型和微调版本，LLM Compiler为探索大型语言模型在代码和编译器优化领域的未开发潜力铺平了道路。这些模型可以被广泛应用于软件工程、编译器设计和优化等领域，提高代码效率和性能。