探索AriGraph:革新LLM代理的记忆与决策

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

摘要

本文介绍了一种名为AriGraph的新型知识图谱世界模型,该模型专为大型语言模型(LLM)代理设计。AriGraph通过利用语义和情景记忆,帮助代理在探索环境时构建和更新知识图谱,从而提高其在复杂决策中的推理和规划能力。研究显示,配备AriGraph的Ariadne LLM代理在TextWorld环境中的零样本学习任务上,显著优于传统的全历史、总结和检索增强生成(RAG)方法。此外,AriGraph代理在处理包括烹饪挑战、房屋清洁和宝藏狩猎等复杂任务时,表现出卓越的性能和适应性。

原理

AriGraph的核心在于其能够整合语义和情景记忆的图谱结构。语义记忆涉及世界的事实知识,而情景记忆则关联到代理的个人经历。AriGraph通过构建一个知识图谱,其中包含语义节点(Vs)和边(Es)以及情景节点(Ve)和边(Ee),实现了对环境的有效建模。代理在每一步通过接收观察(ot)和发送动作(at)来与环境互动,并根据反馈(rt)更新其世界模型G。这种图谱结构支持高效的关联检索,使代理能够根据当前状态和目标,快速找到相关的概念和信息。

流程

AriGraph的工作流程包括两个主要步骤:学习和检索。在学习阶段,代理通过与环境的交互,从文本观察中提取新的三元组(object1, relation, object2),并更新其语义和情景记忆。检索阶段则涉及从AriGraph中提取与当前查询最相关的三元组和情景节点,以支持决策和规划。具体来说,代理首先进行语义搜索以找到最相关的三元组,然后进行情景搜索以找到与这些三元组相关的情景节点。这一流程通过算法1中的伪代码详细说明。

应用

AriGraph的应用前景广泛,特别是在需要复杂推理和长期记忆的领域,如虚拟助手、游戏AI、教育软件和机器人导航等。通过提供一个结构化的知识表示框架,AriGraph不仅增强了LLM代理的性能,还为开发更智能、更自主的系统开辟了新的可能性。随着LLM推理能力的进一步提升,AriGraph有望在更多领域展现其价值。