摘要

本文介绍了一种名为NT-Java-1.1B的开源专用代码语言模型，该模型基于StarCoderBase-1.1B构建，专门设计用于Java编程任务。NT-Java-1.1B在MultiPL-E Java代码基准测试中表现卓越，超越了其基础模型及大多数类似规模的模型。尽管大型通用预训练模型在特定编程语言（如Python）的改进方面已有研究，但对于其他编程语言的小型代码模型的类似研究仍显不足。大型代码模型需要专用硬件如GPU进行推理，因此研究构建可在开发者桌面部署的小型代码模型显得尤为重要。本文通过开发NT-Java-1.1B及其量化版本，解决了这一研究空白，这些模型在MultiPL-E Java代码基准测试中与1.1B规模的开放模型表现相当，非常适合桌面部署。

原理

NT-Java-1.1B是一个基于StarCoderBase-1.1B的解码器专用Transformer模型，采用了Multi-Query Attention技术，使用FlashAttention加速注意力计算并减少模型训练时间。该模型通过进一步训练特定于Java的数据集，优化了在Java编程语言中的性能，平衡了模型大小、推理成本和操作吞吐量之间的权衡。其先进的架构设计使得模型在保持较小参数规模的同时，仍能实现高效的Java代码理解和生成。

流程

NT-Java-1.1B的训练流程包括数据预处理、模型架构设计、训练细节和后训练量化。数据预处理阶段使用Megatron-LM框架，将Java数据集转换为模型可用的格式。模型训练采用PyTorch Distributed框架，使用bf16精度、Adam优化器和数据并行策略。训练过程中，模型通过Next token prediction和Fill-in-the-Middle（FIM）目标进行优化。后训练阶段，模型被量化为GGUF格式，以便在CPU上进行高效推理。例如，NT-Java-1.1B的量化版本在保持较高准确性的同时，显著减小了模型大小，便于在资源受限的环境中部署。

应用

NT-Java-1.1B及其量化版本的应用前景广阔，特别适合于企业级Java项目开发，能够提高编码效率和质量。由于其小巧的模型尺寸和高效的性能，这些模型可以在个人电脑和笔记本电脑上部署，实现代码模型的民主化。此外，这些模型还可以作为进一步研究和开发其他编程语言专用模型的基础，推动Narrow Transformer模型家族的发展。