摘要

本文介绍了一种名为“混合原始草图”（Hybrid Primal Sketch, HPS）的新框架，该框架结合了计算机视觉组件和定性视觉表示与推理，旨在提高场景理解的效率和准确性。HPS受到Marr的原始草图理论的启发，通过集成深度学习组件和其他视觉处理技术，生成类似于草图的实体，这些实体随后由CogSketch模型进一步处理，以产生更详细的形状和场景表示。这些表示能够通过类比泛化进行数据高效学习。本文还描述了HPS的理论框架，总结了先前的实验，并概述了一个正在进行的新实验，旨在理解图表。

原理

HPS框架的核心在于结合了计算机视觉的最新进展与定性视觉表示和推理技术。它通过一个由多种低级计算组件组成的集合体，包括通过深度学习构建的组件，来生成称为“字形”的视觉实体。这些字形随后由CogSketch模型进行高级分析，该模型是一个模拟人类高级视觉的系统。CogSketch不仅分解字形为细粒度的边缘表示以捕捉其形状，还计算字形之间的关系，以构建场景的关系表示。这些表示能够支持类比推理和学习，从而实现数据高效的学习和可检查的模型构建。

流程

HPS的工作流程始于图像输入，通过多种计算机视觉算法（如MASK R-CNN和其他深度学习组件）处理，生成边界框和对象标识。这些信息随后被转换为字形，即包含数字墨水和概念标签的视觉实体。字形被输入到CogSketch系统中，该系统进一步分析字形的形状和场景关系，生成详细的形状和场景表示。这些表示随后用于类比推理和学习，以实现数据高效的学习和可检查的模型构建。例如，在MNIST数据集上的实验展示了HPS如何通过类比学习实现高效的图像识别。

应用

HPS框架的应用前景广泛，特别是在需要复杂场景理解和高效数据处理的领域，如自动驾驶、机器人导航和高级图像识别系统。通过提供可检查的中间表示和类比学习能力，HPS能够支持更可靠和透明的视觉系统开发。此外，HPS在教育技术领域也有潜在应用，特别是在通过图表和草图辅助学习的场景中。