摘要

本文探讨了最先进的Large Language Models（LLMs），如GPT-4和Mistral，如何评估科学摘要的质量，特别是科学综合评估，并将它们的评估与人类注释者的评估进行比较。研究使用了100个研究问题及其由GPT-4从五个相关论文的摘要中生成的综合，与人类质量评级进行对比。初步结果显示，LLMs能提供逻辑解释，与质量评级有一定匹配，但深入的统计分析显示LLM与人类评级之间的相关性较弱，表明LLMs在科学综合评估中的潜力和当前限制。

原理

LLMs通过其先进的自然语言处理能力，能够理解和分析文本内容。在科学综合评估任务中，LLMs被训练来识别和评估摘要中的关键信息，包括全面性、可信度和实用性。这些模型通过大量的数据训练，学会了如何从文本中提取重要信息并进行逻辑推理，从而生成评估结果和解释。GPT-4和Mistral模型在评估过程中展示了逻辑一致性和对文本内容的深入理解，尽管它们与人类评级的相关性较弱，但它们能够提供详细的解释和建议，显示出在科学综合评估中的潜在价值。

流程

研究使用了CORE-GPT数据集，包含100个研究问题及其综合，每个综合由GPT-4从五个相关论文的摘要中生成，并有人类评级。LLMs被要求根据全面性、可信度和实用性三个维度评估这些综合。评估流程包括：1）向LLMs提供任务指令、质量方面的解释、评级尺度、响应格式指令以及待评估的答案、问题和摘要；2）LLMs生成评估输出，包括每个维度的评分和理由；3）对LLM输出的质量和一致性进行定性和定量分析。例如，GPT-4 Turbo和Mistral模型在评估输出中展示了逻辑一致性和对文本内容的深入理解，尽管它们与人类评级的相关性较弱。

应用

LLMs在科学综合评估中的应用前景广阔，特别是在自动化评估和提高评估效率方面。这些模型可以帮助研究人员和机构快速评估大量科学文献的综合质量，减少对人类评估者的依赖。此外，LLMs的评估能力还可以扩展到其他领域，如技术文档评估、法律文件分析等。随着技术的进一步发展和模型的优化，LLMs在科学综合评估中的应用将更加广泛和深入。