摘要

本文介绍了一种名为MathCAMPS的新型数学问题合成框架，该框架旨在从人类课程中细粒度地合成高质量的数学问题。MathCAMPS基于K-8年级的数学共同核心（CC）标准，通过形式化语法生成多样化的符号问题及其答案，并利用大型语言模型（LLMs）将这些符号问题转化为自然语言问题。此外，论文提出了一种循环一致性方法来验证问题的忠实度，并引入了数学对话任务，通过后续问题深入探测模型的理解能力。实验结果显示，即使在最强大的模型中，也存在令人惊讶的失败案例，尤其是在回答简单的后续问题时。此外，论文还评估了Pythia 12B在MathCAMPS上的训练检查点，分析了特定数学技能在训练过程中的发展情况。MathCAMPS框架的提出，为社区提供了一个低成本的工具，用于生成和扩展高质量的数据集，进一步推动了LLMs在数学推理能力上的研究和应用。

原理

MathCAMPS的工作原理基于数学共同核心（CC）标准，通过形式化语法生成符号问题。每个标准被编码为一个非终结符，通过生产规则生成符合该标准的符号问题。然后，使用LLMs将这些符号问题转化为自然语言问题。为了确保生成的自然语言问题忠实于原始符号问题，论文引入了一种循环一致性方法，即通过LLMs将自然语言问题反向翻译回符号结构，并比较新旧答案以验证忠实度。此外，论文还提出了数学对话任务，通过生成后续问题（包括反事实和增量问题）来进一步探测模型的理解能力。

流程

MathCAMPS的工作流程从CC标准的语法（A）开始，生成与特定数学能力相关的符号问题（B），然后使用语言模型将这些符号问题转化为自然语言问题（C）。在转化过程中，应用循环一致性方法，通过反向翻译和答案验证来确保问题的忠实度。此外，还生成增量和反事实的后续问题，以进一步测试模型的理解能力。整个流程包括问题生成、转化、验证和后续问题生成，形成了一个闭环的质量控制和能力探测系统。

应用

MathCAMPS的应用前景广泛，不仅可以在教育领域作为辅助工具，帮助学生练习和提高数学能力，还可以在人工智能领域作为评估和训练LLMs数学推理能力的基准。通过与CC标准的直接关联，MathCAMPS能够提供更细粒度的分析，帮助研究人员和教育者更好地理解模型的数学推理能力和学习动态。此外，MathCAMPS的框架可以扩展到更高级别的数学问题，包括代数、微积分和线性代数等领域，为未来的研究和应用提供了广阔的可能性。