摘要

本文介绍了一种名为REL-A.I.的新方法，旨在评估人类在与语言模型（LM）交互时对LM生成的认知标记（如“我认为…”、“毫无疑问…”）的依赖程度。该方法通过在实际交互环境中进行系统级评估，研究了长期交互、拟人化生成和不同主题领域三种新兴的人类-LM交互设置中的依赖率。研究发现，依赖程度不仅受表达的信心影响，还受到交互上下文的显著影响。这一发现强调了上下文在理解人类依赖性的重要性，并为未来的设计师和研究人员提供了一种测量这种依赖性的方法。

原理

REL-A.I.方法的核心在于通过自我激励任务、公开部署的语言模型中的认知标记以及用户对AI代理的感知问题这三个核心组件，来测量人类在实际交互环境中对语言模型生成内容的依赖程度。该方法考虑了生成内容上下文变量以及表达输出可能如何影响人类对语言模型的依赖。通过这种方法，研究人员可以评估先前的交互、模型的角色以及讨论的主题如何影响人类在依赖决策上的行为。

流程

REL-A.I.的工作流程包括三个主要步骤：首先，邀请参与者参与一个知识问答游戏，他们必须决定是否依赖AI代理的生成内容。其次，将语言模型在实际场景中可能生成的认知标记展示给用户，并测量用户选择依赖这些生成内容的频率。最后，通过问卷调查了解用户对AI代理的整体感知，包括代理的温暖度、能力和人性化程度。例如，在实验中，参与者被问及“马尔代夫的首都是什么？”AI代理可能回答“我确信它是…”，参与者需要决定是否接受这个答案或自行查找。

应用

REL-A.I.方法的应用前景广泛，特别是在设计和部署新的语言模型之前，可以用来评估这些模型可能带来的潜在风险。此外，该方法还可以帮助研究人员和设计师理解人类与AI交互的新特性，确保这些交互既安全又有益。随着语言模型在多领域任务中的部署，理解这些模型如何影响人类的决策过程变得至关重要。