摘要

本文提出了一种名为S.C.O.R.E.的评估框架，用于大型语言模型（LLM）在医疗健康领域的全面定性评估。该框架超越了传统的准确性和量化指标，强调了安全性、共识、客观性、可重复性和可解释性这五个关键评估方面。文章指出，随着LLM在医疗领域的应用日益广泛，传统的量化评估方法已不足以全面评估这些模型的性能，特别是在处理敏感的医疗信息时。S.C.O.R.E.框架旨在为未来的LLM模型提供一个安全、可靠、可信和符合伦理的评估标准，特别是在临床应用中。

原理

S.C.O.R.E.评估框架的工作原理基于五个核心维度：

1. 安全性：确保LLM生成的响应不包含可能导致用户身体或心理伤害的虚构或误导性内容。
2. 共识：确保响应与临床证据和专业共识一致，符合国家和国际专业机构的指导。
3. 客观性：确保响应客观、无偏见，不歧视任何条件、性别、种族、社会经济阶层或文化。
4. 可重复性：确保对同一问题的多次响应在内容上保持一致，而非仅限于字面重复。
5. 可解释性：确保响应包含推理过程和相关补充信息，如参考文献或网站链接，以增强透明度和信任。 这些维度通过Likert量表（1至5分）由临床领域专家进行评估，确保评估的准确性和专业性。

流程

S.C.O.R.E.框架的工作流程包括：

1. 数据准备：收集医疗相关的开放式问题及其答案对，由领域专家手动编写。
2. 模型响应生成：使用GPT4-omni模型生成响应，设置特定的指令提示和超参数（如温度和最大令牌限制）以确保响应的准确性和一致性。
3. 量化评估：使用传统的量化指标（如BLEU、ROUGE-1、ROUGE-L和BERT-SCORE）对生成的响应进行评估。
4. 定性评估：基于S.C.O.R.E.框架，由领域专家对响应进行定性评估，重点关注响应的安全性、共识、客观性、可重复性和可解释性。
5. 结果分析：比较量化和定性评估的结果，以确定S.C.O.R.E.框架的有效性。例如，GPT4-omni模型在定性评估中显示出较高的临床准确性，尽管在量化评估中得分较低。

应用

S.C.O.R.E.评估框架的应用前景广泛，特别是在医疗和临床领域。它不仅有助于确保LLM模型的安全性和可靠性，还能促进这些模型在医疗决策支持、患者教育、临床研究和药物开发等领域的应用。随着LLM技术的进一步发展，S.C.O.R.E.框架有望成为评估和优化这些模型性能的重要工具，从而推动医疗AI的伦理和有效应用。