摘要

本文介绍了一种名为动态少样本学习（DFSL）的新方法，用于知识图谱问答（KGQA）。DFSL结合了上下文学习的效率和语义相似性，为KGQA提供了一种普遍适用的解决方案，并在多个基准数据集上实现了最先进的性能。论文通过广泛的评估和消融研究，探讨了超参数、骨干模型、嵌入方法、答案选择策略以及实体和关系信息的影响。

原理

DFSL的核心在于利用大型语言模型（LLMs）进行上下文学习，通过语义搜索从训练集中动态检索与输入问题相似的例子，从而丰富提示信息。具体来说，DFSL首先将问题及其相关实体和关系映射为一个向量表示，然后计算该向量与存储在集合S中的每个例子的相似度，检索出k个最相似的例子作为上下文提示的一部分。这种方法的关键优势在于，它能够根据输入问题的具体内容动态选择相关的训练例子，而不是依赖于预先选择的固定例子，从而提高了查询生成的准确性和灵活性。

流程

DFSL的工作流程包括以下几个步骤：

1. 输入问题处理：将自然语言问题及其相关实体和关系编码为一个向量。
2. 相似度计算：计算输入问题向量与存储在集合S中的每个例子的相似度。
3. 动态检索：根据相似度得分，检索出k个最相似的例子。
4. 上下文提示构建：将检索到的例子作为上下文提示的一部分，与输入问题一起输入到LLM中。
5. 查询生成：LLM根据上下文提示生成一个或多个SPARQL查询。
6. 答案选择：执行生成的查询，并根据预定义的答案选择策略（如最大集合或首次集合）选择最终答案。

例如，对于问题“巴赫出生在哪里？”，DFSL会检索与该问题相关的训练例子，如“贝多芬出生在哪里？”，并将这些例子作为上下文提示的一部分，帮助LLM生成准确的SPARQL查询。

应用

DFSL在知识图谱问答领域具有广泛的应用前景。它不仅能够提高问答系统的准确性和效率，还能够适应不同的知识图谱和语言环境。随着大型语言模型的不断发展和优化，DFSL有望在更多的自然语言处理任务中得到应用，如文本到SQL的转换、信息检索等。此外，DFSL的动态少样本学习方法也为其他需要快速适应新领域或新任务的AI系统提供了新的思路。