摘要

本文介绍了一种名为DotaMath的大型语言模型系列，该模型通过分解思维、代码辅助和自我修正来解决复杂的数学问题。DotaMath模型通过将复杂问题分解为简单的逻辑子任务，利用代码解决这些子任务，并从代码解释器获取细粒度反馈，进行自我反思和修正。研究团队通过在GSM8K和MATH数据集上进行查询演化，生成了包含574K查询-响应对的指令微调数据集DotaMathQA。通过在DotaMathQA上使用模仿学习训练一系列基础LLMs，得到了DotaMath模型，这些模型在各种领域内和领域外的基准测试中表现出色，特别是在MATH数据集上取得了显著的性能提升。

原理

DotaMath模型的核心在于其独特的思维分解、代码辅助和自我修正机制。首先，模型将复杂的数学问题分解为更易处理的逻辑子任务。其次，利用代码来解决这些子任务，并通过代码解释器获取详细的中间结果反馈，这不仅有助于问题的解决，还增强了模型响应的可读性。最后，模型在解决复杂任务时，能够进行自我反思和修正，通过构建两种类型的指令微调数据，赋予模型自我修正的能力。这种集成的方法使得DotaMath能够在处理复杂数学问题时，不仅提高了解决问题的准确性，还增强了模型的泛化能力。

流程

DotaMath的工作流程包括以下几个关键步骤：

1. 问题分解：模型首先将给定的问题分解为若干个逻辑子任务。
2. 代码生成：针对每个子任务，模型生成相应的Python代码来解决问题。
3. 代码执行与反馈：生成的代码通过Python解释器执行，并返回执行结果。
4. 结果分析与自我修正：模型分析执行结果，如果发现错误，则进行自我反思并修正代码，重复执行直到问题解决。
5. 最终答案生成：一旦所有子任务都得到正确解决，模型将生成最终答案。

例如，在解决一个数学问题时，DotaMath首先将问题分解为几个子问题，然后为每个子问题编写代码，执行代码并获取结果。如果结果不正确，模型会分析错误原因并重新编写代码，直到得到正确答案。

应用

DotaMath模型在数学教育、科学研究和技术开发等领域具有广泛的应用前景。在教育领域，DotaMath可以帮助学生解决复杂的数学问题，提供详细的解题步骤和解释，从而提高学习效率。在科研和技术开发中，DotaMath可以作为辅助工具，帮助研究人员快速解决数学建模和数据分析中的复杂问题。此外，DotaMath的自我修正能力也使其在自动化和智能化系统中具有潜在的应用价值。