摘要

本文探讨了神经语义解析（NSP）模型在处理超出其目标符号表示范围的概念时产生幻觉输出的问题。传统的NSP模型基于封闭世界假设，即模型只能处理其目标符号系统内的概念，这导致模型在遇到超出其知识范围的查询时会产生错误或可能具有冒犯性的回答。为了解决这一问题，本文提出了幻觉模拟框架（HSF），这是一个通用设置，用于刺激和分析NSP模型的幻觉行为。通过使用HSF和KQA Pro作为基准数据集，本文评估了最先进的幻觉检测技术，并提出了一种新的幻觉检测策略，该策略利用NSP模型的计算图来检测幻觉，特别是在存在本体论缺口和域外话语的情况下。

原理

幻觉模拟框架（HSF）通过将本体论分解为两个不相交的子本体论，即已知符号集（Oknown_symbols）和未知符号集（Ounknown_symbols），来模拟NSP模型在推理时的幻觉行为。模型在训练时仅使用Oknown_symbols，而在验证和测试时引入Ounknown_symbols，从而迫使模型产生幻觉。HSF通过分析模型在无法生成本体论符号时的行为，开发了一系列幻觉检测策略，以识别和防止模型向用户提供错误的回答。

流程

HSF的工作流程包括以下步骤：

1. NSP模型接收用户的问题并生成相应的MRL（意义表示语言）。
2. 幻觉检测模型（HDM）从NSP模型中提取特征，并决定是否将MRL传递给用户。 具体示例：例如，当模型遇到一个需要“犯罪率”符号的问题，但该符号不在其本体论中时，模型可能会生成一个错误的MRL，如“法国的人口是多少”。HDM通过分析模型的激活特征和其他信号，如置信度分数和蒙特卡洛 dropout，来检测这种幻觉。

应用

本文提出的幻觉检测策略不仅适用于封闭本体论的NSP任务，还可以广泛应用于需要高可靠性回答的问答系统。通过减少模型产生的幻觉输出，可以显著提高用户对系统的信任度和满意度。未来，这些策略还可以扩展到其他语义解析任务和更复杂的本体论系统中。