摘要

本文由Jesse Roberts等研究者撰写，探讨了大型语言模型（LLMs）是否能展现出与人类相似的认知扇效应。通过在预训练阶段使用人类文本数据，研究者设计了两组情境回忆实验来诱发扇效应。实验结果显示，LLMs的回忆不确定性，通过标记概率衡量，确实受到扇效应的影响。此外，当不确定性被消除时，观察到的扇效应会被破坏。研究还表明，无论扇效应值是在情境中诱发还是在预训练数据中诱发，其效果是一致的。这些发现为扇效应和典型性是同一现象的表现提供了计算机模拟证据。

原理

本文的核心在于评估大型语言模型（LLMs）是否能展现出人类认知中的扇效应。扇效应是指在人类分类行为中，当概念与之前学习集中的概念具有重叠特征时，识别和接受或拒绝这些概念所需的时间更长。研究者通过设计特定的情境回忆实验，观察LLMs在处理包含重叠特征的概念时的表现。实验结果显示，LLMs在处理这些概念时，其标记概率（token probability）受到扇效应的影响，这与人类的行为模式相似。此外，研究还发现，当模型的不确定性被减少时，扇效应的影响也会减弱，这表明扇效应与模型的不确定性处理机制有关。

流程

研究者首先定义了扇效应的概念，并设计了两组实验来测试LLMs是否能展现出这种效应。实验中，LLMs被要求处理一系列包含重叠特征的概念，并通过标记概率来衡量其处理结果的不确定性。实验结果通过统计分析来确定扇效应的存在及其强度。例如，在处理“鸟类”类别时，模型对于典型鸟类（如知更鸟）和非典型鸟类（如企鹅）的识别概率有所不同，这反映了扇效应的存在。此外，实验还探讨了当模型的不确定性被减少时，扇效应如何受到影响。

应用

本文的研究结果对于理解LLMs在模拟人类认知行为方面的能力具有重要意义。扇效应的发现不仅有助于改进LLMs的设计和训练方法，还可能对开发更有效的人机交互系统、情感计算和认知建模等领域产生影响。此外，这些发现还可能为心理学和认知科学领域的研究提供新的视角和工具。