摘要

本文探讨了如何通过使用适配器（adapters）将来自语言本体的图知识整合到多语言大型语言模型（LLMs）中，以提高低资源语言（LRLs）在情感分析（SA）和命名实体识别（NER）任务中的性能。研究基于成功的参数高效微调技术，如K-ADAPTER和MAD-X，提出了一种类似的方法，将多语言图中的知识通过语言关系连接到多语言LLMs中，特别是针对八种低资源语言：马耳他语、保加利亚语、印度尼西亚语、尼泊尔语、爪哇语、维吾尔语、藏语和僧伽罗语。通过在从ConceptNet中提取的语言特定数据上微调语言特定适配器，旨在实现知识在覆盖知识图的语言之间的转移。研究比较了不同的微调目标，包括标准掩码语言建模（MLM）、全词掩码MLM和目标掩码MLM，以分析它们在学习和对提取的图数据进行整合的有效性。通过在语言特定任务上的实证评估，研究评估了结构化图知识如何影响多语言LLMs在LRLs中的SA和NER性能，提供了关于适应语言模型以应对低资源场景潜在好处的见解。

原理

本文的关键工作原理是通过适配器将外部图知识注入到多语言LLMs中。适配器是一种小型模块，插入在模型的层之间，并在模型保持冻结状态的同时进行训练。研究采用了两种类型的适配器：基于ConceptNet的适配器和基于Wikipedia的适配器。基于ConceptNet的适配器通过从ConceptNet中提取的知识进行训练，而基于Wikipedia的适配器则利用Wikipedia数据进行训练。这两种适配器都使用掩码语言建模（MLM）目标函数进行训练，但针对不同的下游任务（如SA和NER）使用了不同的目标函数。适配器的融合（Adapter Fusion）机制被用来动态组合来自不同知识源的适配器，以提高模型在特定任务上的性能。

流程

研究的工作流程包括以下几个步骤：

1. 数据准备：从ConceptNet和Wikipedia中提取语言特定的数据，并将其转换为自然语言文本。
2. 适配器训练：使用提取的数据训练基于ConceptNet和Wikipedia的语言适配器。
3. 适配器融合：通过Adapter Fusion机制动态组合不同知识源的适配器。
4. 任务适配器训练：在语言适配器的基础上，训练特定任务（如SA和NER）的适配器。
5. 评估：在特定语言和任务上评估模型的性能，分析结构化图知识对模型性能的影响。

例如，对于情感分析任务，模型首先使用基于ConceptNet的语言适配器处理输入文本，然后通过Adapter Fusion机制融合来自Wikipedia的知识，最后通过任务适配器进行情感分类。

应用

本文提出的方法在低资源语言的情感分析和命名实体识别任务中显示出潜在的应用前景。通过整合外部图知识，模型能够在数据稀缺的情况下提高性能，这对于多语言NLP应用尤其重要。未来，这种方法可以扩展到更多的低资源语言和更多的NLP任务，进一步推动多语言LLMs在实际应用中的广泛使用。