摘要

本文介绍了一种名为IDEAL的新型框架，用于利用大型语言模型（LLMs）进行查询聚焦摘要（QFS）。QFS旨在生成针对特定查询的摘要，以提高用户控制和个性化。IDEAL框架通过两个创新模块——Query-aware HyperExpert和Query-focused Infini-attention，有效地实现了对LLMs的细粒度查询对齐和长文档处理能力。实验结果表明，IDEAL在多个QFS基准测试中显著优于其他基线方法，展现了其在QFS技术领域的广泛应用前景。

原理

IDEAL框架的核心在于其两个模块的设计：Query-aware HyperExpert和Query-focused Infini-attention。Query-aware HyperExpert利用参数高效的微调（PEFT）策略，通过HyperNetwork动态生成与用户查询强相关的LLM参数调整，从而实现高效的细粒度查询-LLM对齐。Query-focused Infini-attention模块则通过引入长期压缩记忆和局部因果注意力，有效处理长文档，同时保留与查询相关的文档部分，确保在有限内存资源下高效处理无限长的文本输入。

流程

IDEAL的工作流程首先是通过Query-aware HyperExpert模块，根据用户查询动态调整LLM的参数，以实现更精确的查询对齐。随后，Query-focused Infini-attention模块处理输入的长文档，通过压缩记忆和局部注意力机制，提取并保留与查询相关的信息。例如，IDEAL框架在处理平均长度为13,000个输入标记的数据集时，能够在单个24GB Nvidia GeForce RTX 3090 GPU上高效运行。

应用

IDEAL框架在查询聚焦摘要领域展现出巨大的应用潜力，特别是在需要处理大量文本数据和提供个性化摘要服务的场景中。随着技术的进一步发展和优化，IDEAL有望在新闻摘要、法律文档摘要、医学文献摘要等多个领域发挥重要作用，为用户提供更加精准和个性化的信息服务。