摘要

本文探讨了在大型语言模型（LLM）时代下，源代码自动摘要技术的最新进展。论文通过系统性地研究LLM在代码摘要任务中的应用，涵盖了多个关键方面，包括评估方法、提示技术、模型设置和编程语言类型。研究发现，GPT-4评估方法与人工评估最为接近，而高级提示技术并不总是优于简单的零样本提示。此外，模型设置对摘要质量的影响因LLM和编程语言而异。论文还揭示了LLM在不同类型编程语言代码摘要中的表现，并提出了CodeLlama-Instruct在某些类别摘要生成中的优越性。这些发现为未来LLM在代码摘要领域的研究和应用提供了宝贵的见解。

原理

论文的核心在于探索和优化LLM在代码摘要任务中的应用。首先，通过对比多种自动评估方法与人工评估的结果，确定了GPT-4作为评估LLM生成摘要质量的最合适方法。其次，研究了五种不同的提示技术（零样本、少样本、思维链、批判和专家）对LLM适应代码摘要任务的有效性，发现简单零样本提示在某些情况下表现最佳。接着，分析了模型设置参数（如top p和温度）对生成摘要质量的影响，揭示了这些参数的影响因LLM和编程语言而异。最后，评估了LLM在不同类型编程语言和不同类别摘要生成中的表现，发现CodeLlama-Instruct在某些类别中表现优于GPT-4。

流程

论文的工作流程包括两个主要阶段：摘要生成和摘要评估。在摘要生成阶段，输入包括代码片段和预期的摘要类别，通过提示生成器使用不同的提示技术构建提示，指导LLM生成相应类型的摘要。在摘要评估阶段，使用自动评估方法（如GPT-4）计算LLM生成摘要与参考摘要之间的文本或语义相似度，以评估摘要质量。论文通过多个实验，结合不同编程语言和提示技术，系统地评估了LLM在代码摘要任务中的表现。

应用

论文的研究成果为软件开发领域提供了新的工具和方法，特别是在提高代码理解和维护效率方面。LLM在代码摘要的应用不仅限于单一编程语言，而是可以扩展到多种编程语言和不同的摘要类别，从而为开发者提供更全面的代码理解和文档生成支持。随着LLM技术的进一步发展，其在代码摘要领域的应用前景将更加广泛，有望成为软件工程自动化工具的重要组成部分。