摘要

本文介绍了一项关于大型语言模型（LLMs）在理解代码语义能力方面的实证研究。研究团队开发了一个名为EMPICA的综合框架，用于系统性地评估代码LLMs在理解代码语义方面的能力。该框架通过引入受控的代码修改和变换，观察模型的响应，以评估模型对语义等价和非等价代码输入的鲁棒性和敏感性。实验结果表明，尽管代码LLMs在各种软件工程任务中表现出色，但它们对代码变换的鲁棒性和敏感性在不同任务和变换操作中存在显著差异。此外，模型在语义保留变换方面表现出更好的鲁棒性，而在语义非保留变换方面则表现出较低的敏感性。这些发现强调了增强模型理解代码语义能力，特别是提高其敏感性的必要性。

原理

EMPICA框架通过四个主要组件来评估代码LLMs的语义理解能力：程序生成、程序变换、代码理解和鲁棒性与敏感性评估。首先，框架使用待评估的代码LLM生成代码。然后，通过系统性地引入受控的代码变换，观察模型在特定代码理解任务中的响应。这些变换分为语义保留（SP）和语义非保留（SNP）两类。理想情况下，如果模型能够理解代码语义，它应该对SP变换保持鲁棒性，即产生一致的输出；而对SNP变换保持敏感性，即产生不同的输出。通过这种方式，EMPICA能够全面评估模型在不同代码理解任务中的表现。

流程

EMPICA的工作流程包括以下步骤：

1. 程序生成：使用待评估的代码LLM生成代码片段。
2. 程序变换：对生成的代码片段进行系统性的变换，包括语义保留和语义非保留变换。
3. 代码理解：评估模型在特定代码理解任务中的表现，如代码摘要、方法名预测和输出预测。
4. 鲁棒性与敏感性评估：分析模型对代码变换的响应，计算其在SP和SNP变换下的鲁棒性和敏感性指标。

例如，在代码摘要任务中，模型需要为原始代码和变换后的代码生成摘要。如果变换是语义保留的，模型应生成相似的摘要；如果是语义非保留的，模型应生成不同的摘要。通过这种方式，EMPICA能够量化模型在不同变换下的表现。

应用

EMPICA框架的应用前景广泛，特别是在软件开发和维护领域。通过评估和改进代码LLMs的语义理解能力，可以提高代码生成的准确性和可靠性，从而加速软件开发过程。此外，该框架还可以用于教育和培训，帮助开发者更好地理解和使用代码LLMs。随着模型能力的提升，未来可能在自动化编程、代码修复和测试生成等领域发挥更大作用。