摘要

本文由Chirui Chang等人撰写，探讨了当前基于扩散的视频生成模型与真实世界视频之间的差距。文章通过分析外观、运动和几何三个基本维度，比较了由先进AI模型Stable Video Diffusion生成的视频与真实视频的差异。研究团队训练了三个基于3D卷积网络的分类器，分别针对外观、运动和几何特征，展示了AI生成的视频在这些方面与真实视频存在显著差异。此外，文章还提出了一个集成专家模型，该模型结合了外观、光学流和深度信息，以提高假视频检测的鲁棒性和泛化能力。研究结果表明，即使在没有接触过特定生成模型（如Sora）的视频的情况下，该模型也能以高准确度检测出假视频，这表明真实与假视频之间的差距可以跨不同视频生成模型泛化。

原理

文章的核心在于通过三个关键维度——外观、运动和几何——来分析和检测AI生成的视频。每个维度都通过特定的技术进行处理：外观通过视觉基础模型特征（如DINOv2）来捕捉；运动通过光学流（如RAFT）来分析；几何则通过单目深度（如Marigold和UniDepth）来评估。这些技术被用来训练分类器，每个分类器都能独立地识别视频的真伪。通过Grad-CAM技术，研究团队能够可视化分类器在决策过程中依赖的关键区域，从而深入理解AI生成视频与真实视频之间的差异。最终，通过集成这些分类器的预测，形成了一个综合模型，该模型能够更全面地检测视频的真伪，尤其是在跨域设置中，即训练和测试使用不同的AI生成模型。

流程

研究团队首先收集了真实世界视频和AI生成的视频数据集，使用Stable Video Diffusion模型生成假视频，并与从Pexels等平台收集的真实视频进行对比。接着，他们设计了一个综合视频表示（CVR），该表示分解视频为外观、运动和几何三个组件，并分别使用DINOv2、RAFT和Marigold/UniDepth进行特征提取。利用这些特征，团队训练了三个3D卷积神经网络分类器，每个分类器专注于一个特定的维度。通过Grad-CAM分析，他们识别了分类器在检测假视频时依赖的关键区域。最后，通过集成这三个分类器的输出，形成了一个增强的假视频检测模型，该模型在未见过的AI生成视频上也能保持高准确度。

应用

该研究不仅揭示了当前AI视频生成技术的局限性，还提供了一个有效的检测框架，这对于维护视频内容的真实性和安全性具有重要意义。随着AI视频生成技术的不断进步，这种检测方法将变得更加重要，因为它可以帮助识别和防止深度伪造视频的传播。此外，该研究还为视频生成技术的进一步发展提供了方向，特别是在提高视频生成的真实性和减少与真实视频的差距方面。