摘要

本文探讨了超球面原型学习（HPL）的几何结构，这是一种监督下的表示学习方法，旨在设计单位超球面上的类原型。HPL通过在已知的几何结构中实现尺度不变的类分离，解决了以往方法中的两个主要缺陷：（i）无原则的优化过程；（ii）仅限于单一潜在维度的理论健全性。本文通过引入一种有原则的优化过程和使用线性块码在广泛的维度中构建良好分离的原型，解决了这两个问题。此外，本文还提供了关于最优原型放置的可实现和逆向界限，证明了所提出的方法接近最优。

原理

本文的核心在于利用编码理论来设计超球面上的原型，确保这些原型在几何上尽可能分离。通过将n维汉明空间上的二进制线性码映射到n维超球面Sn−1上，作者提出了一种新的设计方法，这种方法在设计上保证了类分离，并允许在给定类数K的情况下，在分离和维度n之间进行更灵活的权衡。此外，作者还推导了保证最小原型分离的逆向界限和可实现界限，这些界限表明，在高维度和大量类的情况下，最坏情况下的余弦相似度趋近于零。这些界限还显示，基于码的原型在n ≈ K/2时接近最优分离。

流程

本文提出的工作流程包括三个主要贡献：（i）一种新的超球面原型设计方法，将定义在n维汉明空间上的二进制线性码映射到n维超球面Sn−1上；（ii）推导出保证最小原型分离的逆向界限和可实现界限；（iii）提供了一种基于优化的超球面原型方案，通过凸松弛达到逆向界限。这些方法通过在CIFAR-100数据集上的实验进行了评估和比较，展示了所提出方案的性能。

应用

本文提出的方法在监督学习设置中通过原型学习来实现表示分离，每个类被分配一个原型，这些原型在训练前被指定以最大化其分离，并在训练期间保持固定。因此，表示被偏向于基于其类进行分离。这种方法在图像识别、分类任务以及其他需要高度分离表示的机器学习应用中具有广泛的应用前景。