摘要

本文探讨了基于深度学习的软件漏洞检测模型在实际数据集上的性能表现。尽管这些模型在先前的评估中报告了高达99%的召回率和F1分数，但在实际应用场景中，特别是在评估整个代码库而非仅修复提交时，这些模型的表现显著下降。本文引入了一个名为Real-Vul的综合数据集，用于更准确地代表现实世界中漏洞检测模型的评估环境。通过评估DeepWukong、LineVul、ReVeal和IVDetect等漏洞检测方法，观察到性能大幅下降，精度下降高达95个百分点，F1分数下降高达91个百分点。进一步分析揭示了模型生成的嵌入在易受攻击和不确定样本之间存在显著重叠，这可能是导致大量误报的原因。此外，模型性能还受到漏洞特征（如类型和严重性）的影响。本文强调，在深度学习基础上的漏洞检测模型准备部署到实际环境中之前，仍需弥合显著的性能差距。

原理

本文通过引入Real-Vul数据集，重新评估了现有的基于深度学习的漏洞检测模型的性能。Real-Vul数据集的设计旨在更真实地反映模型在实际应用中的部署环境，包括易受攻击和不确定样本的分布。通过对比模型在Real-Vul数据集和原始数据集上的表现，发现模型在Real-Vul上的性能显著下降，这表明现有模型在实际应用中的可靠性存在问题。此外，通过可视化模型生成的嵌入，发现模型在区分易受攻击和不确定样本方面存在困难，这进一步解释了为何模型会产生大量误报。

流程

本文的工作流程包括以下几个关键步骤：

1. 引入Real-Vul数据集，该数据集包含了来自多个真实世界开源项目的完整源代码样本。
2. 评估DeepWukong、LineVul、ReVeal和IVDetect等模型在Real-Vul数据集上的性能。
3. 通过可视化模型生成的嵌入，分析模型在区分易受攻击和不确定样本方面的能力。
4. 探讨模型性能受漏洞特征（如类型和严重性）影响的程度。
5. 提出一种数据增强技术，以改善模型的性能。

应用

本文的研究结果表明，基于深度学习的漏洞检测模型在实际应用中仍面临挑战，特别是在处理大量误报和区分不同类型的漏洞方面。因此，未来的研究应集中在改进模型的设计和评估方法，以实现更准确的漏洞检测。此外，Real-Vul数据集的引入为未来的研究提供了宝贵的资源，有助于推动漏洞检测技术的发展。