摘要

本文探讨了大型语言模型（LLMs）在处理价值导向问题时的答案一致性。研究定义了价值一致性为模型在不同情境下（如问题的不同表述、相关问题、多选与开放式问题、多语言翻译）答案的相似度。通过分析多个大型开放LLMs（如llama-3和gpt-4o）在超过8000个涉及300多个主题的问题上的表现，研究发现模型在这些问题上表现出相对一致性，尤其是在非争议性主题上。然而，模型在某些主题（如“安乐死”）上的不一致性仍然存在。研究还比较了基础模型与微调模型的一致性，发现基础模型在一致性上更为均匀，而微调模型在某些主题上的一致性较低。此外，模型在多语言翻译和不同使用场景（如多选与开放式问题）上也显示出一定的一致性。

原理

研究通过定义价值一致性的四个维度来评估LLMs的一致性：1) 问题的不同表述（paraphrases）；2) 同一主题下的相关问题；3) 多选与开放式问题的使用场景；4) 多语言翻译。研究使用Jensen-Shannon散度（JSD）来测量答案之间的距离，这是一种对称且有界的方法，适用于比较概率分布。通过这些度量，研究能够量化模型在不同情境下的答案一致性，从而评估模型在价值导向问题上的表现。

流程

研究首先构建了一个名为VALUECONSISTENCY的数据集，包含超过8000个问题，涉及300多个主题，并涵盖四种语言。然后，研究团队使用这些数据集对多个大型语言模型进行测试，包括llama-3和gpt-4o等。测试过程中，模型被要求回答各种形式的问题，包括不同表述的问题、同一主题下的相关问题、多选与开放式问题以及多语言翻译的问题。研究团队记录并分析了模型的答案，使用Jensen-Shannon散度来计算答案之间的一致性。最后，研究团队比较了基础模型与微调模型在一致性上的差异，并分析了模型在不同主题和语言上的表现。

应用

该研究为理解LLMs在价值导向问题上的表现提供了重要的量化方法，有助于未来在伦理、法律和社会科学等领域中应用LLMs时进行更精确的评估和调整。此外，研究结果还可以帮助开发者在设计模型时考虑到价值一致性的重要性，从而提高模型的可靠性和适用性。未来研究可以扩展到更多语言和使用场景，以及探索如何在特定领域中提高模型的一致性。