摘要

本文介绍了一种针对阿拉伯语指令调优的大型语言模型（LLM）增强方法，通过创建新的阿拉伯语指令数据集InstAr-500k，并对其进行评估和微调，以提升模型在阿拉伯语自然语言处理（NLP）任务中的性能。研究团队开发了两个先进的模型LlamAr-8B和GemmAr-7B，这些模型在多个阿拉伯语NLP基准测试中达到了最先进的性能，强调了该数据集在提升阿拉伯语语言模型能力方面的重要性。

原理

本文通过结合单语知识蒸馏和跨多种数据集的微调策略，改进了大型语言模型在阿拉伯语中的表现。具体来说，研究团队首先使用Command R+模型创建了一个合成数据集，覆盖了广泛的阿拉伯语任务和上下文。随后，收集并进一步开发了人工制作的数据集，通过文本预处理步骤确保数据集的高质量和上下文准确性。这些数据集随后被合并成一个混合数据集InstAr-500k，用于在LLaMA Factory框架内进行模型微调。微调过程中，主要利用合成数据部分进行单语知识蒸馏，同时结合人工制作的数据集，通过迭代调整模型参数以提高性能。

流程

研究团队的工作流程包括数据集生成和模型微调两个主要阶段。在数据集生成阶段，首先使用高质量的原始文本数据（如101 Billion Arabic Words Dataset）作为基础，通过LangChain分割和清洗文本，创建种子任务系统提示，并使用Command R+模型生成指令-响应对。在微调阶段，使用Azure AI平台上的Standard_NC96ads_A100_v4实例进行模型训练，利用LoRA技术减少可训练参数，优化微调过程。模型评估通过Open Arabic LLM Leaderboard进行，使用LightEval框架测试模型在多个评估任务上的表现。

应用

LlamAr-8B和GemmAr-7B模型的开发不仅提升了阿拉伯语NLP任务的性能，还为阿拉伯语社区提供了更易访问的AI技术。这些模型在教育、法律、医疗等多个领域具有广泛的应用前景，特别是在需要处理阿拉伯语复杂语法和语境的应用中。此外，这些模型的成功也为其他非英语语言的LLM开发提供了宝贵的经验和参考。