摘要

本文介绍了一种名为“ConceptExpress”的新型任务——无监督概念提取（Unsupervised Concept Extraction, UCE），旨在利用预训练的扩散模型从单张图像中自动提取多个概念，无需任何人类知识。该任务的核心挑战在于如何在没有任何先验知识的情况下，从包含多个概念的图像中提取并重现这些概念。ConceptExpress通过利用预训练扩散模型的内在能力，提出了一种概念定位方法和概念令牌学习过程，以自动定位和分离图像中的显著概念，并学习代表每个独立概念的判别性令牌。此外，本文还建立了一个针对UCE任务的评估协议，并通过广泛的实验证明了ConceptExpress在UCE任务中的有效性和前景。

原理

ConceptExpress的核心工作原理在于利用预训练的扩散模型进行无监督概念提取。具体来说，该方法通过两个主要创新来实现这一目标：

1. 概念定位：通过聚类扩散模型中的自注意力图（self-attention maps）的空间点，自动定位图像中的显著概念。这一过程基于观察到扩散模型在自注意力层中学习到了良好的无监督空间对应关系。
2. 概念令牌学习：基于概念与其概念令牌之间的查找关联，通过概念明智的优化过程学习代表每个独立概念的判别性令牌。这一优化过程基于令牌查找表，该表将每个定位的概念与其相应的概念令牌关联起来。

这些创新点使得ConceptExpress能够在没有任何人类干预的情况下，有效地从单张图像中提取和重现多个概念。

流程

ConceptExpress的工作流程包括以下几个关键步骤：

1. 输入图像：给定一张包含多个概念的图像。
2. 概念定位：利用扩散模型的自注意力图进行概念定位，通过聚类和过滤步骤自动识别图像中的显著概念。
3. 概念令牌学习：根据定位的概念，构建令牌查找表，并通过掩码去噪优化过程学习每个概念的判别性令牌。
4. 图像生成：使用学习到的概念令牌生成新的图像，这些图像能够准确地代表原始图像中的各个概念。

例如，给定一张包含“星球大战角色C-3PO、R2-D2和沙漠”的图像，ConceptExpress能够自动学习这些角色的概念令牌，并生成高质量的图像，每个图像仅包含一个角色。

应用

ConceptExpress的应用前景广泛，特别是在个性化文本到图像生成、图像编辑和内容创作等领域。由于其能够在无监督的情况下从单张图像中提取多个概念，该技术可以极大地简化图像编辑和内容生成的工作流程，提高效率和创造性。此外，ConceptExpress还可以应用于教育、娱乐和设计等多个行业，为用户提供更加个性化和交互式的图像生成体验。