摘要

本文介绍了一种名为Neural-Symbolic Energy-Based Models (NeSy-EBMs)的统一数学框架，用于神经符号系统中的判别和生成建模。该框架结合了概率和非概率方法，通过能量函数将神经和符号组件结合在一起。文章还开发了一种建模范式的分类法，重点关注系统的神经符号接口和推理能力，并引入了一套针对NeSy-EBMs的学习技术。此外，文章提出了Neural Probabilistic Soft Logic (NeuPSL)，一个用于构建NeSy-EBMs的开源库，旨在提高可扩展性和表达能力。通过在多个数据集上的广泛实证分析，文章展示了NeSy-EBMs在图像分类、图节点标记、自动驾驶车辆情境意识和问答等任务中的实际优势。

原理

NeSy-EBMs通过能量函数将神经网络和符号逻辑结合起来，能量函数测量一组变量的兼容性，低能量状态表示高兼容性。神经组件是一个深度模型，其输出被提供给符号组件，符号组件使用领域知识和约束来测量变量的兼容性。这种组合不仅作为识别建模范式和推理能力的基础，还开发了通用的NeSy推理和学习算法。此外，基于能量的建模是一个已建立的视角，将NeSy与更广泛的机器学习文献联系起来。

流程

NeSy-EBMs的工作流程包括以下步骤：

1. 神经组件处理输入数据，生成输出。
2. 符号组件接收神经组件的输出，并使用领域知识和约束来评估输出的兼容性。
3. 通过优化能量函数，找到与领域知识和约束兼容的高兼容性状态。
4. 使用学习技术（如模块化学习、梯度下降、双层值函数优化和随机策略优化）来训练神经和符号参数，以最小化学习损失。

应用

NeSy-EBMs的应用前景广泛，包括但不限于：

• 图像分类和处理
• 自然语言处理和问答系统
• 自动驾驶和机器人导航
• 推荐系统和数据分析
• 生物信息学和药物发现 这些应用展示了NeSy-EBMs在结合深度学习和符号推理方面的强大能力，特别是在需要复杂推理和领域知识的任务中。