AnySR:实现任意尺度与资源的高效图像超分辨率
摘要
本文介绍了一种名为AnySR的新型图像超分辨率(SISR)方法,旨在提高单图像超分辨率应用的效率和可扩展性。AnySR通过将现有的任意尺度超分辨率方法重构为任意尺度、任意资源的实现,创新性地解决了在不同尺度上使用相同计算成本的传统方法的局限性。该方法通过构建任意尺度任务为任意资源实现,减少了小尺度任务的资源需求,同时通过特征交织方式增强任意尺度的性能,确保了正确的特征/尺度处理。实验证明,AnySR在五个流行的SISR测试数据集上重建了大多数现有的任意尺度SISR方法,并实现了计算效率更高的SISR任务,性能与现有方法相当。这是首次在文献中实现SISR任务不仅任意尺度,而且任意资源。代码可在GitHub上获取。
原理
AnySR的核心原理是将任意尺度的超分辨率任务分解为多个子组,每个子组包含相似尺度的任务。通过构建多个不同复杂度的网络,AnySR能够在计算资源受限的情况下,分配较低复杂度的网络来完成小尺度的SISR任务,以提高推理效率,而在资源充足的情况下,使用较高复杂度的网络来解决大尺度的SISR任务,以保证性能。此外,AnySR通过特征交织的方式,将尺度信息重复插入到特征中,以确保不同尺度的特征能够得到适当的处理,从而提高性能。
流程
AnySR的工作流程包括三个主要步骤:浅层特征提取、深层特征提取和图像重建。首先,通过一个3×3的卷积层将给定的低分辨率(LR)图像转换为浅层特征。然后,通过连续的AnySR块进行深层特征提取,每个块自动选择基于任务复杂度的子网进行特征提取和增强。最后,通过上采样器重建高分辨率(HR)版本的LR图像。在训练过程中,AnySR通过随机前向传播原始模型的子网并仅更新相应的权重,实现了多个不同资源网络的训练,而无需引入额外参数。
应用
AnySR的应用前景广泛,特别适用于计算资源有限的环境,如移动设备和嵌入式系统。其高效的计算和资源管理能力使其能够在实时在线部署中适应不同的计算资源,从而在保持高性能的同时,实现更广泛的应用。此外,AnySR的可扩展性和灵活性也使其成为未来研究中探索更复杂神经架构搜索(NAS)的理想基础。
