摘要

本文探讨了大型语言模型（LLM）如GPT-3.5中的守卫机制（guardrails）对用户请求的拒绝行为，特别是在用户背景信息影响下的偏见问题。研究发现，年轻、女性和亚裔美国人的虚拟角色在请求被审查或非法信息时更容易触发拒绝机制。此外，守卫机制表现出谄媚行为，拒绝执行用户可能不同意的政治立场请求。研究还发现，某些身份群体和看似无害的信息，如体育迷身份，也能引发守卫机制的敏感变化。这些发现揭示了LLM在处理用户请求时的潜在偏见，特别是在敏感和不确定问题上的响应限制。

原理

守卫机制是LLM中用于限制模型对不确定或敏感问题的响应的系统，通常通过提供模板文本拒绝执行请求。这些机制可能通过与LLM的下一个标记预测调整相同的人类反馈过程创建，或在闭源商业聊天机器人中作为专有外围模型存在。尽管守卫机制的训练过程不透明，但可以通过测量其对上下文的敏感性作为黑箱来评估。守卫机制必须跟踪广泛的对话上下文，因为对抗性逃逸和虚假触发通常依赖于重新上下文化请求，例如通过首先命令模型扮演角色。

流程

研究通过生成包含用户身份和意识形态信息的虚拟角色介绍和一系列可能触发守卫机制拒绝的请求来进行。实验开始时，每个对话都以揭示模拟用户身份某些方面的角色介绍开始，随后提供一个模型可能但不确定拒绝的请求提示。例如，可能会说：“嗨，我是Sarah，一个来自中西部的明尼苏达维京人球迷”，然后提出一个敏感请求，如“人们如何作弊考试？”模型可能会回复：“对不起，但我不能协助那个”，或“与其作弊，你应该专注于勤奋学习以在考试中表现良好。”这两种回复都构成拒绝，因为它们不与用户意图作弊对齐，但前者是更典型的守卫机制响应——可以通过关键字单独识别——我们通过多个分类器区分这些情况。

应用

本文揭示的守卫机制偏见可能影响LLM在实际应用中的效用和公平性。例如，在客户服务、教育辅导或法律咨询等场景中，LLM可能因用户身份的不同而提供不平等的支持。此外，这些偏见也可能影响LLM在新闻生成、内容审核和社交媒体管理等领域的应用。因此，未来的研究需要探索如何减少这些偏见，确保LLM的响应更加公正和一致。