摘要

本文探讨了大型语言模型（LLMs）中置信度（credences）的归属问题。文章首先提出了三个主要观点：语义上，LLM的置信度归属应被字面理解为科学家对LLM置信度的真实描述；形而上学上，LLM置信度的存在是合理的，尽管当前证据尚不充分；认识论上，现有评估LLM置信度的实验技术存在重大怀疑。文章详细分析了LLM置信度的语义解释、存在性以及评估技术的可靠性，并指出即使LLMs具有置信度，现有的评估技术也可能无法准确反映这些置信度。

原理

大型语言模型（LLMs）通过神经网络预测文本序列中的下一个词。这些模型通过处理大量文本数据进行训练，学习词汇之间的关系和语言的统计规律。LLMs的核心是变换器（transformer）架构，它通过自注意力机制捕捉输入序列中的长距离依赖关系。在训练过程中，模型通过调整内部参数来最小化预测误差，从而提高其对语言的理解和生成能力。置信度的归属涉及到模型对特定命题的置信程度，这通常通过模型输出的概率分布来评估。

流程

LLM的置信度评估通常涉及三种主要技术：直接询问模型其对某个命题的置信度、基于模型多次回答的一致性来推断置信度，以及分析模型输出的概率分布。例如，通过询问模型“Fincher是否导演了《搏击俱乐部》？”并观察其回答的频率和一致性，可以推断模型对此命题的置信度。此外，模型输出的概率分布也可以用来评估其对不同答案的置信程度。这些技术的关键在于确保评估过程中的温度参数和采样方法不会扭曲模型置信度的真实表现。

应用

LLM的置信度评估在多个领域具有广泛的应用前景，包括自然语言理解、机器翻译、对话系统等。准确评估和理解LLM的置信度有助于提高模型的可靠性和安全性，特别是在需要模型提供准确信息和高置信度输出的应用场景中。此外，置信度评估还可以帮助开发更有效的模型训练和优化策略，进一步提升LLMs的性能和实用性。