摘要

本文由Dezhi Ran等人撰写，探讨了基础模型（Foundation Models, FMs）作为新型软件的工程化问题。随着FMs的复杂性不断增加，作者提出了“基础模型工程”（Foundation Model Engineering, FME）的概念，旨在通过引入声明性、自动化和统一的编程接口来简化数据和模型管理，从而应对即将到来的FM危机。文章强调了FME在数据管理、模型管理以及声明性编程接口方面的重要性，并探讨了其在软件工程领域的研究机会和应用前景。

原理

基础模型工程（FME）的核心在于将数据和模型视为源代码，通过声明性、自动化和统一的编程接口来管理这些复杂的FMs。FME通过引入弱监督的数据管理策略，利用有限的标记数据和大量未标记数据，通过算法推断标签并提高数据质量，从而有效减少数据准备的时间和资源需求。在模型管理方面，FME采用工作流和持续集成的方法，自动化模型开发、训练、评估和部署过程，同时利用类似Git的分布式版本控制系统来跟踪和管理模型的更新。此外，FME还通过声明性规范的编程接口，简化FM的开发过程，使开发者能够以高层次语言指定目标，而无需深入了解实现细节。

流程

FME的工作流程包括数据管理和模型管理两个主要部分。在数据管理中，开发者通过声明性接口指定数据标记和清洗功能，FME则选择合适的模型（如代码生成模型或SQL生成模型）来解析和理解这些规范，并大规模执行数据标记或清洗。在模型管理中，FME通过自动化选择和微调模型，智能地从可用数据池中选择微调数据，并执行微调，最终合并冗余模型并解决合并冲突。例如，FME可以自动选择适合交互式GUI故障检测的FM，并使用LORA进行增量微调。

应用

FME的应用前景广泛，涵盖了从数据清洗、模型微调到模型部署的多个环节。通过提供一个强大、自动化和可扩展的框架，FME不仅简化了FM的开发和应用，还加速了创新步伐，促进了智能应用的发展。FME的引入有望在多个行业中推动更高效、更可靠的AI应用开发，特别是在需要大规模数据处理和复杂模型管理的场景中。