摘要

本文探讨了自然语言处理（NLP）中评估文本摘要的挑战，提出了一种基于大型语言模型（LLMs）的新方法。通过对比八种自动评估指标、人工评估和LLM方法，研究了七种最先进的摘要模型在专利文档数据集上的表现。结果显示，LLM评估与人工评估高度一致，而常用的自动评估指标如ROUGE-2、BERTScore和SummaC则缺乏一致性。此外，本文还提出了一种基于LLM的框架，用于自动评估和改进文本摘要，这一方法在社区中引起了广泛关注。

原理

本文提出的LLM-based评估方法利用了LLMs的强大理解能力和遵循指令的能力。LLMs通过分析生成的摘要与源文档之间的内容一致性、清晰度、准确性和覆盖范围等多个维度，来评估摘要的质量。这种方法的优势在于其能够模拟人类评估者的判断过程，从而提供更接近人类标准的评估结果。此外，LLM-based方法还能够通过迭代反馈机制，不断优化生成的摘要，提高其质量。

流程

研究首先收集了1630份专利文档作为数据集，并随机选取了30份文档进行人工评估。评估过程中，参与者被要求根据清晰度、准确性、覆盖范围和整体质量四个维度对生成的摘要进行评分。LLMs则使用相同的评估标准进行自动评估。通过对比人工和LLM的评估结果，研究展示了LLM评估的高度一致性和可靠性。此外，研究还通过迭代改进流程，利用LLM的反馈来优化摘要生成模型，显著提高了摘要的清晰度和覆盖范围。

应用

本文提出的LLM-based评估和改进框架在法律文档摘要、科学研究摘要、新闻报道摘要等多个领域具有广泛的应用前景。特别是在法律文档摘要领域，由于人工评估成本高昂，LLM-based方法能够提供一个高效、低成本的替代方案。此外，该方法还能够帮助改进现有的摘要生成模型，提高其生成摘要的质量和准确性。