摘要

本文介绍了LLM-jp项目，这是一个跨组织的大型语言模型（LLM）研究和开发项目，专注于开发开放源代码的日本LLM。LLM-jp项目自2023年5月启动以来，已吸引了超过1,500名来自学术界和工业界的参与者。该项目的目标是开发出能够理解并生成高质量日语文本的LLM，并解决现有LLM在处理日语时存在的理解不足和生成质量低下的问题。此外，LLM-jp项目还致力于解决LLM在计算资源需求、模型透明度、幻觉和安全性等方面的问题。通过完全透明的方式，LLM-jp项目将其模型、语料库、微调数据以及讨论和失败案例公开，供非商业和商业用途使用。

原理

LLM-jp项目的关键工作原理涉及多个工作组（WGs），每个工作组负责不同的任务。Corpus Building WG负责构建预训练语料库和分词器，Model Building WG负责预训练语言模型，Fine-tuning and Evaluation WG负责模型的微调和评估，Computational Infrastructure WG负责解决计算基础设施的挑战，Safety WG负责确保模型的安全性。这些工作组通过每周的在线会议和Slack讨论进行沟通和协作。LLM-jp项目采用了Megatron-DeepSpeed等现有的预训练库，并根据需要进行了调整和优化，以适应日本语言的特点和需求。此外，项目还开发了新的分词器和语料库搜索功能，以提高模型的性能和可用性。

流程

LLM-jp项目的工作流程包括以下几个关键步骤：

1. 语料库构建：Corpus Building WG首先构建预训练语料库和分词器，然后将其传递给Model Building WG。语料库包括日语、英语和代码等多种语言的数据，遵循Chinchilla scaling law进行构建。
2. 模型构建：Model Building WG使用预训练语料库和分词器进行语言模型的预训练。项目采用了Megatron-DeepSpeed等预训练库，并通过实验确定了最佳的训练设置。
3. 微调和评估：Fine-tuning and Evaluation WG负责对预训练模型进行微调，并使用llm-jp-eval等评估框架进行性能评估。项目还开发了新的评估基准，如Japanese Vicuna QA benchmark，以评估模型在日语环境下的性能。
4. 安全性保障：Safety WG负责确保模型的安全性，包括开发AnswerCarefully等安全数据集，以及进行模型安全性的详细分析和评估。

应用

LLM-jp项目的应用前景广泛，包括但不限于：

• 自然语言处理：提高日语自然语言处理任务的性能，如机器翻译、文本摘要、问答系统等。
• 教育和研究：为日语语言学和计算语言学研究提供强大的工具和资源。
• 商业应用：支持日语相关的商业应用，如客户服务自动化、内容生成等。
• 文化保护：通过提高对日语的理解和生成能力，有助于保护和传承日本文化。 随着LLM-jp项目的不断发展和完善，其应用范围和影响力有望进一步扩大。