摘要

本文探讨了基于扩散模型的图像修复技术在生成恶意内容（如深度伪造）中的应用，并提出了一种名为“Digression guided Diffusion Disruption”（DDD）的新框架。该框架通过识别扩散过程中最易受攻击的时间步长范围，并采用语义偏离优化方法，有效地破坏了图像修复合成。与现有的Photoguard框架相比，DDD在保持有效破坏水平的同时，显著降低了GPU内存需求和优化时间。

原理

DDD框架的核心在于识别扩散模型中最易受攻击的隐藏空间时间步长范围，并通过语义偏离优化来最大化修复实例隐藏状态与语义感知隐藏状态质心之间的距离。这一过程通过蒙特卡洛采样和在标记空间中的离散投影优化来校准。具体来说，DDD利用未目标攻击方法，通过寻找一个表示质心来偏离，从而有效地消除了定义目标点和其优化复杂性的负担。此外，DDD通过在标记空间中进行离散化文本优化，确保优化过程中的嵌入保持在分布内，避免了对抗性累积。

流程

DDD的工作流程包括以下几个关键步骤：

1. 隐藏状态采样：从上下文图像的表示中采样隐藏状态，并通过在标记空间中的离散投影优化来校准。
2. 文本优化：利用上下文图像生成基于扩散的修复损失，更新标记嵌入π∗。
3. 质心构建：通过蒙特卡洛采样，利用τ∗ = E(π∗)构建多模态质心。
4. 优化上下文图像：通过最大化质心与源隐藏状态之间的距离，迭代更新上下文图像C。

具体示例可以参考图2中的框架概览。

应用

DDD框架的应用前景广泛，特别是在保护图像免受恶意编辑方面。随着深度学习技术在社交媒体和网络社区中的广泛应用，高质量内容伪造已成为一个严重的伦理问题。DDD框架的提出为对抗恶意图像编辑提供了一种有效的解决方案，有助于减少社会混乱和错误信息的传播。此外，DDD的高效性和低资源需求使其适用于消费者级别的GPU预算，进一步推动了图像保护技术的民主化。