摘要

本文介绍了一种名为VFIMamba的新型视频帧插值方法，该方法利用选择性状态空间模型（S6）进行高效且动态的帧间建模。当前的视频帧插值（VFI）方法主要依赖于卷积或基于注意力的模型，这些模型通常缺乏足够的感受野或涉及显著的计算开销。VFIMamba通过引入混合状态空间模型块（MSB），重新排列相邻帧的标记并以交错方式应用多方向S6建模，从而在保持线性复杂度的同时，有效地在帧间传递信息。此外，本文还提出了一种新颖的课程学习策略，逐步培养模型在不同运动幅度下建模帧间动态的能力，充分发挥S6模型的潜力。实验结果显示，VFIMamba在多个基准测试中达到了最先进的性能，特别是在高分辨率场景中表现出色。

原理

VFIMamba的核心在于利用S6模型进行帧间建模，该模型结合了循环神经网络（RNN）和卷积神经网络（CNN）的优点，具有全局感受野和计算效率。MSB块首先将相邻帧的标记重新排列为交错格式，然后应用多方向的S6模型进行帧间信息建模。这种设计不仅保持了线性复杂度，还允许模型根据输入数据自适应地调整参数，从而在处理复杂帧间信息交换时更加灵活和高效。

流程

VFIMamba的工作流程包括三个主要步骤：帧特征提取、帧间建模和帧生成。首先，使用轻量级的卷积层独立地从每个帧中提取浅层特征。接着，通过MSB块进行多分辨率的帧间建模，每个尺度包含N个MSB块，并通过重叠的块嵌入进行尺度间的下采样。最后，利用这些高质量的帧间特征进行帧生成，包括两帧之间的运动估计和外观细化。具体示例中，VFIMamba在处理高分辨率视频帧时，能够有效地估计和生成中间帧，显著提高了视频质量和流畅度。

应用

VFIMamba在视频处理领域具有广泛的应用前景，特别是在需要高帧率和高质量视频的场景中，如电影制作、视频游戏和虚拟现实。其高效的帧间建模能力和线性复杂度使其成为处理高分辨率视频的理想选择，有望推动视频帧插值技术的发展，并在未来的视频处理和增强应用中发挥重要作用。