摘要

本文提出了一种名为Key-Point-Driven Mathematical Reasoning Distillation (KPDD)的新方法，旨在提高小型语言模型（SLMs）在数学推理任务中的性能。KPDD通过分解问题解决过程为三个阶段：核心问题提取、问题解决信息提取和逐步解决方案生成，来增强SLMs的推理能力。实验结果显示，KPDD-CoT显著提升了SLMs的推理能力，而KPDD-PoT则在数学推理任务中达到了最先进的性能。该方法有效地减少了误解错误，推动了高效且有能力的SLMs的部署。

原理

KPDD方法的核心在于通过三个阶段来优化SLMs的数学推理过程：首先，通过核心问题提取阶段，识别并提取问题的核心部分；接着，在问题解决信息提取阶段，提取解决问题所需的相关数据和信息；最后，在逐步解决方案生成阶段，利用提取的关键点来逐步解决原始问题。KPDD进一步分为KPDD-CoT和KPDD-PoT两种格式，前者生成链式思维（CoT）推理路径，后者生成程序思维（PoT）推理路径。KPDD-PoT通过将推理过程转化为Python程序并由外部解释器执行，避免了计算错误，从而进一步提升了SLMs的数学推理性能。

流程

KPDD的工作流程包括三个主要步骤：首先，使用KPDD-CoT/PoT-core模型从原始问题中提取核心问题；其次，使用KPDD-CoT/PoT-info模型提取相关的问题解决信息；最后，基于原始问题、核心问题和问题解决信息，使用KPDD-CoT/PoT-solve模型生成推理路径来解决原始问题。例如，在KPDD-CoT中，模型会逐步展示如何通过提取的关键点来解决数学问题，而在KPDD-PoT中，模型会生成Python代码来计算答案。

应用

KPDD方法的应用前景广泛，特别是在需要复杂数学推理的领域，如教育技术、金融分析和科学研究等。通过提升SLMs的数学推理能力，KPDD有助于开发更智能的辅助工具和决策支持系统。此外，KPDD的模块化设计使其易于集成到现有的AI系统中，进一步扩展其应用范围。