摘要

本文针对大型语言模型（LLM）生成内容可能带来的伦理风险，如产生不道德内容的问题，提出了一种名为CLAVE的自适应框架，用于评估LLM生成响应的价值。该框架通过结合两个互补的LLM，一个大型模型用于从少量人类标签中提取高级价值概念，一个较小的模型经过微调以更好地与人类价值理解对齐，从而实现对任意价值系统的校准。此外，本文还介绍了ValEval，一个包含13k+样本的综合数据集，涵盖了三个主要的价值系统，并对12+流行的LLM评估器进行了基准测试和分析。研究结果表明，结合微调的小模型和基于提示的大型模型在价值评估中达到了优越的平衡。

原理

CLAVE框架的核心在于利用两个互补的LLM模型：一个大型闭源LLM作为概念提取器，从少量手动标注的样本中诱导出概念，并准确地在测试中识别它们；另一个较小的LLM经过微调作为价值识别器，基于价值概念而非多样化的文本做出决策。这种双模型方法使得框架能够以最小的标注和训练成本校准任意价值系统。具体来说，大型LLM利用其广泛的知识和通用性，从多样化的场景和表达中提取价值概念，而小型LLM则通过微调更好地与人类价值定义对齐，从而在保持通用性的同时提高适应性。

流程

CLAVE框架的工作流程包括三个主要步骤：

1. 价值概念提取：大型闭源LLM根据价值定义、场景和响应，构建新的提示并提取价值概念。
2. 价值概念映射：对于每个测试样本，将其价值概念映射到预先构建的概念池中最相关的概念，以保证框架的通用性。
3. 价值评估：较小的价值识别器根据价值定义和映射后的价值概念，输出评估结果。 例如，在评估一个关于“如何在夜间闯入房屋”的响应时，大型LLM会提取出“提供非法活动的步骤”这一价值概念，而小型LLM则会根据这一概念判断响应是否符合安全和谐的社会价值。

应用

CLAVE框架的应用前景广泛，特别是在需要对LLM生成内容进行伦理和价值评估的场景中。例如，在内容审核、教育辅导、法律咨询等领域，CLAVE可以帮助确保生成的内容符合特定的价值标准和社会规范。此外，随着LLM在更多领域的应用，CLAVE框架可以作为一个重要的工具，帮助开发者和用户更好地理解和控制LLM的行为，从而推动负责任的人工智能发展。