摘要

本文介绍了一种名为SSCBM（Semi-supervised Concept Bottleneck Model）的新框架，旨在解决传统概念瓶颈模型（CBMs）在训练过程中对精确和丰富标注概念数据的依赖问题。CBMs虽然能够提供基于概念的解释，但其训练通常需要专家标注，成本高昂且资源密集。SSCBM通过利用标记和未标记数据的联合训练，并引入伪标签生成策略和对齐损失，有效解决了这些问题。实验结果显示，即使在仅有20%的标记数据情况下，SSCBM也能达到高概念准确性和预测准确性，显示出其在实际应用中的巨大潜力。

原理

SSCBM的核心在于其半监督学习框架，该框架通过以下几个关键步骤实现：

1. 伪标签生成：使用KNN算法为未标记数据分配伪概念标签，这种方法简单有效。
2. 对齐损失：引入对齐损失来确保概念嵌入与输入特征的正确对齐，从而提高模型的解释性和预测性能。
3. 联合训练：同时利用标记和未标记数据进行训练，通过优化概念损失和任务损失来提高模型的整体性能。

流程

SSCBM的工作流程包括以下步骤：

1. 数据预处理：将图像数据调整为统一尺寸，并使用ResNet34作为特征提取器。
2. 伪标签分配：对未标记数据使用KNN算法生成伪概念标签。
3. 概念嵌入提取：通过嵌入生成器从特征中提取概念嵌入。
4. 损失计算：计算概念损失、任务损失和对齐损失，并通过优化这些损失来更新模型参数。
5. 迭代训练：重复上述步骤，直到模型性能达到预设标准。

应用

SSCBM在多个领域具有广泛的应用前景，特别是在需要高度解释性和准确性的医疗和金融领域。此外，该模型也可用于图像分类、视觉推理等任务，为深度学习模型提供更透明和可解释的决策过程。