摘要

本文介绍了一种名为FastKGE的快速持续知识图谱嵌入框架，该框架通过增量低秩适配器（IncLoRA）机制，有效地学习新知识同时保留旧知识。在实际应用中，知识图谱（KGs）不断增长，传统的知识图谱嵌入（KGE）方法在更新嵌入时需要重新训练整个图谱，导致训练成本高昂。FastKGE通过隔离新知识到特定层并使用IncLoRA机制，减少了训练参数，加速了微调过程，同时保持了链接预测性能。实验结果显示，FastKGE在多个公共数据集上减少了34%-49%的训练时间，并在新构建的数据集上节省了51%-68%的训练时间，同时提高了链接预测性能。

原理

FastKGE框架的核心在于其增量低秩适配器（IncLoRA）机制。该机制通过将新知识嵌入到特定层的增量低秩适配器中，减少了训练参数的数量，从而加速了学习过程。IncLoRA引入了自适应秩分配，使得适配器能够根据实体的重要性自适应调整其秩尺度，进一步优化了知识图谱嵌入的效果。此外，FastKGE通过图层化策略，将新知识隔离到特定层，有效缓解了旧知识的灾难性遗忘问题。

流程

FastKGE的工作流程包括三个主要阶段：图层化、IncLoRA学习和链接预测。在图层化阶段，新实体和关系根据其与旧图谱的距离和节点度被分为多个层。在IncLoRA学习阶段，每个层的实体和关系嵌入通过增量低秩适配器进行学习和存储。最后，在链接预测阶段，所有新适配器被组合成一个适配器组，并与初始嵌入一起用于推理。例如，在处理新实体Remus Lupin时，FastKGE会将其嵌入到特定的增量低秩适配器中，并根据其在图谱中的结构特征进行自适应秩分配。

应用

FastKGE框架在知识图谱的持续学习和更新中具有广泛的应用前景。随着知识图谱在问答系统、推荐系统、事实检测和信息提取等领域的应用日益增多，FastKGE的高效性和性能优势将使其成为处理动态知识图谱的理想选择。特别是在大数据和实时数据处理场景中，FastKGE能够显著减少训练时间和成本，提高系统的响应速度和准确性。