摘要

本文介绍了一种名为“BeyondX”的新型基准测试，专门用于评估大型语言模型（LLMs）在解决包含多个未知数的复杂数学问题上的能力。研究发现，现有的LLMs在处理包含多个未知数的问题时性能显著下降。为了解决这一问题，作者提出了一种名为“Formulate-and-Solve”的新策略，该策略通过自动生成和解决多未知数问题，显著提高了LLMs的性能，并揭示了这些模型在处理复杂数学挑战时的计算极限。

原理

“Formulate-and-Solve”策略的核心在于利用LLMs的推理能力，通过逐步推理生成数学问题的系统方程，并使用外部符号求解器来解决这些方程。这种方法通过自动生成演示示例，指导LLMs如何处理多未知数问题，从而提高了模型在解决复杂数学问题上的准确性和效率。

流程

1. 问题理解：LLM首先分析原始问题及其解决方案，明确每个未知变量的作用。
2. 引入新未知数：LLM引入一个与现有问题框架相关的新未知变量，并为其分配一个初始值。
3. 扩展方程集：LLM生成一个新方程，描述新变量与现有变量之间的数量关系，并使用程序验证器确保方程的正确性。
4. 整合方程到问题陈述：将新形成的方程转化为文本，并整合到原始问题陈述中，保持一致性和流畅性。
5. 最终细化：LLM对问题陈述进行彻底打磨，确保其流畅和连贯。

应用

“Formulate-and-Solve”策略不仅适用于数学教育领域，帮助学生更好地理解和解决复杂数学问题，还可以应用于工程、科学计算等领域，提高自动化问题解决的效率和准确性。此外，该策略的研究也为未来LLMs在更广泛领域的应用提供了新的思路和方法。