摘要

本文介绍了一种名为“变分部分群卷积”（Variational Partial Group Convolutions, VP G-CNN）的新方法，旨在解决现实世界数据集中存在的部分对称性问题，特别是在旋转和颜色偏移方面。传统的群等变卷积神经网络（G-CNNs）虽然能够有效捕捉层次特征，但其等变性固定于整个群的对称性，限制了其在多样部分对称性数据集上的适应性。VP G-CNN通过重新设计输出群元素的分布，使其依赖于输入数据，并利用变分推断来避免过拟合，从而能够根据每个数据点的具体需求调整其等变性水平。此外，本文还通过重新设计可重参数化的分布，解决了离散群等变模型中固有的训练不稳定问题。实验结果显示，VP G-CNN在多个数据集上表现出色，尤其是在不确定度指标上。

原理

VP G-CNN的核心创新在于其能够捕捉数据特定的不同等变性水平。该方法通过重新设计部分G-CNN中输出群元素的分布，使其条件依赖于输入数据。具体来说，VP G-CNN在每个卷积层中使用一个条件分布q(u|f)，其中u是群元素，f是输入特征。这个条件分布通过从前一层提取的特征来参考输入数据的信息，从而实现数据特定的等变性。为了训练这个条件分布而不导致过拟合，VP G-CNN采用了变分推断方法，将每个层的群元素视为随机变量，通过最大化证据下界（ELBO）来间接最大化对数似然。此外，VP G-CNN还通过重新设计离散群元素的可重参数化分布，解决了部分G-CNN中存在的训练不稳定问题。

流程

VP G-CNN的工作流程包括以下几个关键步骤：

1. 输入感知部分卷积：在每个卷积层中，使用依赖于输入特征的条件分布q(u|f)来定义群元素的分布。
2. 变分推断：通过变分推断框架，最大化ELBO，其中包括分类的对数似然和条件分布与先验之间的KL散度，以实现正则化。
3. 重参数化技巧：利用重参数化技巧来有效地训练条件分布q(u|f)，确保梯度估计的低方差。
4. 离散群元素的分布设计：针对离散群元素，设计了一种新的概率分布，避免了Gumbel-Softmax的不稳定性，并模拟了连续群元素的分布行为。

应用

VP G-CNN的应用前景广泛，特别是在需要处理部分对称性的计算机视觉任务中，如手写数字识别、花卉图像分类等。此外，该方法还可以扩展到其他领域，如医学图像分析、自动驾驶等，其中数据可能表现出复杂的部分对称性。VP G-CNN的灵活性和高效性使其成为处理现实世界数据集中复杂对称性问题的有力工具。