摘要

本文介绍了一种新的基准测试FROG，用于评估大型语言模型（LLMs）在模糊推理方面的能力。FROG包含真实世界的数学应用题，这些题目引入了广义量词（GQs），如“大多数”或“少数”，这些量词在日常语言中经常用于引入模糊性。实验结果显示，当前的LLMs在处理模糊推理任务时仍面临重大挑战，并且现有的增强推理能力的方法并不总是能提高这些模型在模糊逻辑任务中的表现。此外，研究还发现LLMs在FROG上的表现存在逆规模效应，即模型规模越大，表现并不一定越好。

原理

FROG基准测试通过将精确的数值数据替换为广义量词（GQs），要求模型在执行精确的算术计算的同时，还需要进行模糊推理来估计GQs的范围。模型需要理解并处理这些模糊的量词，以便准确地解决包含这些量词的问题。例如，模型需要理解“大多数”在特定上下文中的含义，并据此进行推理和计算。

流程

FROG的工作流程包括四个主要步骤：首先，识别包含百分比提及的数学问题；其次，用[MASK]标记替换具体的百分比提及；然后，搜索最接近的广义量词（GQs）；最后，构建FRoG任务，提供问题和原始答案，以便模型推断出可以填充到[MASK]中的GQ。例如，一个问题可能是“天然气价格连续两个月分别上涨了20%和大多数，司机应该减少多少百分比的天然气消费以保持支出不变？”模型需要推理出“大多数”对应的百分比，并据此进行计算。

应用

FROG基准测试的应用前景广泛，特别是在需要处理模糊信息的领域，如自然语言处理、人工智能决策支持系统等。通过提高LLMs在模糊推理方面的能力，可以增强这些模型在复杂决策场景中的实用性，尤其是在需要理解和处理不精确或模糊信息的情况下。