摘要

本文介绍了一种名为“Terminating Differentiable Tree Experts”的新型神经-符号AI模型，由Jonathan Thomm等人提出。该模型基于先前的Differentiable Tree Machine（DTM），通过引入专家混合（Mixture of Experts, MoE）和新的终止算法，解决了DTM中线性增长的参数问题和固定的计算步骤限制。新模型能够在任意数量的计算步骤中保持参数数量恒定，并通过自动选择步骤数来提高模型的灵活性和学习能力。此外，该模型在保持与DTM相似的内部和外部性能的同时，展示了更好的参数效率和泛化能力。

原理

Terminating Differentiable Tree Experts（TDTE）模型的核心创新在于引入了专家混合（MoE）机制和一种新的终止算法。MoE机制允许模型在每个计算步骤中使用相同的参数，通过从权重池中软选择不同的权重组合，从而在任意长度的迭代中保持参数数量恒定。终止算法通过两个终止预测器来决定模型的计算步骤数，其中一个预测器（探索者）负责探索最佳终止点，另一个预测器（阻尼器）在探索者达到一定置信度后跟随其决策。这种机制使得模型能够学习到最优的计算步骤数，而无需预先知道具体的步骤数。

流程

TDTE的工作流程包括以下几个步骤：

1. 初始化：使用相同的专家混合（MoE）模型参数进行初始化。
2. 计算步骤：在每个步骤中，模型通过路由器选择专家权重，并使用这些权重来加权专家的输出，从而生成新的树结构。
3. 终止决策：通过两个终止预测器（探索者和阻尼器）来决定是否终止计算。探索者负责探索最佳终止点，阻尼器在探索者达到一定置信度后跟随其决策。
4. 输出结果：最终输出由最后一个步骤的计算结果决定。

应用

TDTE模型在处理树结构数据和执行树到树的转换任务中展示了显著的优势，特别是在需要复杂操作和长序列处理的场景中。其恒定的参数规模和自动终止机制使其在处理大规模数据和复杂任务时更加高效和灵活。未来，该模型可以应用于自然语言处理、代码生成、知识图谱构建等领域，特别是在需要符号推理和结构化数据处理的AI应用中。