探索非线性不变量:一种革命性的无监督出分布检测方法
摘要
本文介绍了一种名为NL-Invs的新型无监督出分布(U-OOD)检测方法,该方法通过学习训练集中的数据不变量来实现。NL-Invs是首个采用体积保持网络进行OOD检测的方法,它能够学习非线性不变量,并在大型U-OOD基准测试中达到最先进的性能。此外,该方法还展示了在表格数据上的应用潜力,表明其在不同数据模式上的通用性和对线性不变量的优势。
原理
NL-Invs的核心在于通过一种类似于标准化流的架构来学习非线性不变量。该架构由交替的旋转和耦合层组成,确保了网络的体积几乎处处保持不变。这种设计使得网络能够学习到实际的不变量,而不是通过投影到近似常数值来人为创建不变量。通过这种方式,NL-Invs能够在推理时通过测试新样本是否满足这些不变量来识别出分布外的样本。
流程
NL-Invs的工作流程包括以下几个步骤:首先,使用预训练的CNN在多个尺度上计算特征描述符。然后,通过训练过程中的特征向量来训练一组不变量函数。在推理阶段,测试图像通过计算层级分数并聚合这些分数来评估最终的不变量分数。此外,NL-Invs还结合了标准的2-NN分数,以进一步提升性能。具体的工作流程和示例可以在图2和图3中找到。
应用
NL-Invs的应用前景广泛,特别是在需要高度可靠性的深度学习模型应用中,如医疗图像分析、网络安全和异常检测等领域。由于其能够在无监督环境下有效识别出分布外的样本,NL-Invs有望在未来的自动化系统和风险评估中发挥重要作用。
