摘要

本文介绍了一种名为Dy-DCA的动态深度神经网络框架，用于在设备上进行超分辨率处理，通过动态算法和编译器协同设计来减少数据过拟合问题。该框架通过内容感知的数据处理管道和动态深度神经网络，将模型数量减少到一个，从而提高了视频质量并减少了用户端的模型切换和内存占用。此外，还设计了一个编译器级优化框架，以加速用户端的实时推理并节省内存消耗。实验结果显示，该方法在移动设备上实现了更好的峰值信噪比（PSNR）和实时性能（33 FPS），同时实现了1.7倍的加速和1.61倍的内存节省。

原理

Dy-DCA框架的核心在于其动态深度神经网络和内容感知的数据处理管道。首先，视频帧被分割成不同形状的补丁，这些补丁通过一个可学习的门控模块被分配到不同的处理路径，然后由一个动态的超分辨率模型进行过拟合处理。动态深度神经网络具有动态路由节点和树状结构，能够处理不同纹理复杂度的补丁。编译器级优化框架则通过数据流分析和操作符分类，实现了操作符融合、静态执行计划和运行时内存分配等优化，以应对动态输入形状和路由带来的挑战。

流程

Dy-DCA的工作流程包括以下几个步骤：

1. 视频帧被分割成不同形状的补丁。
2. 这些补丁通过一个可学习的门控模块被分配到不同的处理路径。
3. 动态超分辨率模型对这些补丁进行过拟合处理。
4. 编译器级优化框架对动态深度神经网络进行优化，包括操作符融合、静态执行计划和运行时内存分配。
5. 最终，超分辨率视频被传输到用户端。

应用

Dy-DCA框架在视频超分辨率领域具有广泛的应用前景，特别是在需要高效率和高质量视频传输的场景，如在线视频流媒体服务、移动设备上的视频播放等。该框架的实时性能和内存节省特性使其非常适合于资源受限的边缘设备，如智能手机和平板电脑。