1、第 31 卷 第 4 期 2023 年 8 月Vol.31 No.4Aug.2023电脑与信息技术Computer and Information Technology文章编号：1005-1228（2023）04-0028-03基于空间变化模糊核估计的图像盲超分辨率重建李轩，韩佳睿（沈阳航空航天大学电子信息工程学院，辽宁 沈阳，110136）摘要：针对退化模式已知的图像超分辨率算法对于复杂退化的真实场景重建效果并不好，并且现有的盲图像超分往往假设模糊核空间不变，但在现实图像中的模糊核通常是空间可变的等问题。文章提出了一种基于空间变化模糊核估计的图像盲超分辨率网络（Spatially Varia
2、nt Kernel Estimation Super-Resolution Network，SKESRNet），SKESRNet由三部分构成：特征提取模块、模糊核重构模块和图像重建模块。给定任意模糊下的低分辨率图像，该网络首先利用特征提取模块得到输入图像的特征，然后根据得到的特征，利用模糊核重构模块估计出图像的模糊核，最后在图像重建模块完成输入图像的超分辨率重建。文章在多个基准数据集上进行了实验，结果表明该网络优于同类的图像盲超分辨率重建网络。关键词：模糊核估计；图像盲超分辨率；卷积神经网络中图分类号：TP391.41文献标识码：AImage Blind Super-resolution Re
3、construction Based on Spatial Variation Fuzzy Kernel EstimationLI Xuan,HAN Jia-rui（School of Electronic Information Engineering,Shenyang University of Aeronautics and Astronautics,Shenyang 110136,China）Abstract：The image super-resolution algorithm known for the degradation mode is not good for the r
4、econstruction of complex degraded real scenes,and the existing blind image super-resolution often assumes that the fuzzy kernel is spatially invariant.However,the fuzzy kernel in the real image is usually spatially variable.In this paper,an image blind super-resolution network(SKESRNet)based on spat
5、ial change fuzzy kernel estimation is proposed.SKESRNet includes three parts:feature extraction module,fuzzy kernel reconstruction module and image reconstruction module.Given the low resolution image under arbitrary blur,the network first uses the fuzzy feature extraction sub network to obtain the
6、estimated features of the input image,then uses the fuzzy kernel reconstruction sub network to estimate the fuzzy kernel of the image according to the obtained features,and finally uses the image reconstruction sub network to complete the super-resolution reconstruction of the input image.In this pa
7、per,the experiments are carried out on multiple benchmark data sets.The results show that the network is superior to the similar image blind super-resolution reconstruction network.Key words:fuzzy kernel estimation;image blind super-resolution;convolutional neural network收稿日期：2022-05-16作者简介：李轩（1967-
8、），男，吉林东丰人，副教授，博士，主要研究方向：图像处理与传输技术、计算机视觉；（通信作者）韩佳睿（1997-），女，辽宁锦州人，硕士研究生，主要研究方向：图像处理。在计算机视觉方向研究的内容中，将低分辨率图像重建为高分辨率图像的图像超分辨率的问题，是极具典型性的。该项技术的发展已经较为成熟，广泛应用于医学，安保等需要成像功能的领域。图像超分辨率方法根据模糊核是否已知可分为非盲超分辨率方法和盲超分辨率方法。广泛应用于图像超分领域的卷积神经网络大多假设模糊核是固定的，将这些模型应用到现实生活的真实场景中其重建效果不理想。现实生活中的低分辨率图像的退化模式是复杂且未知的，包含了多种因素如噪声、目标
9、运动、虚焦，模糊核是未知的且往往是空间变化的，因此估计空间变化的模糊核，是一个热点问题。为了解决以上问题，本文提出了基于空间变化模糊核估计的图像盲超分辨率网络（SKESRNet）。SKESRNet 包含特征提取、核重构和图像重建三个模块。第一个模块使用残差块，下采样层、上采样层和DOI:10.19414/ki.1005-1228.2023.04.028第 31 卷 第 4 期29李轩等，基于空间变化模糊核估计的图像盲超分辨率重建跳跃连接层，从输入的 LR 图像中提取特征。第二个模块从根据提取的图像特征为每个图像像素重构模糊核。第三个模块采用 RRDB 和 SFT 并利用模糊核的特征重建超分辨率
10、图像。1相关工作模糊核估计是非盲超分辨率的一个热点问题 并 得 到 了 广 泛 的 研 究。Bell-Kligler 提 出 了KernelGAN1，它在单图像上训练一个内部生成对抗网络（GAN）估计模糊核。基于 KernelGAN1，Lianget 提出了 KernelGAN-FKP，将一个基于流的内核整合到框架中。Cornillere 提出了 SRSVD，使用一个核鉴别器来评估非盲 SR 模型输出，并通过最小化鉴别器误差来优化核潜在变量。Zhang 等人使用网格搜索的方式来确定模糊核的参数。Gu 等人2提出迭代修正的框架来不断修正估计到的模糊核向量。然而这些方法都只是估计出模糊核经由 PC
11、A 降维后的模糊核向量，并没有从 LR 图像中估计出完整的模糊核，导致难以对估计出的模糊核做出直观的质量评价。为了解决这个问题，本文设计了一个新的模糊核估计网络 SKESRNet 用于从低分辨率图像中估计出模糊核。2方法2.1SKENet本文设计了一个新的模糊核估计网络 SKENet，结构如图 1 所示，该网络可以从输入的低分辨率图像估计出模糊核。SKENet 包含两个模块：特征提取模块和核重构模块。特征提取模块由卷积层、残差块、上、下采样器构成。首先将低分辨率（LR）图像输入一个 33 的卷积层提取图像特征，然后经过残差块。每个残差块包含两个分离卷积层，并在它们之间加入ReLU 激活函数以进
12、行非线性学习。中间残差块前后各有一个步长均为 2 的卷积层和转置卷积层分别用于图像特征的下采样和上采样。此外，在特征提取模块中加了两个跳跃连接层，利用了不同层次的特征提高表达能力。特征提取后，核重构模块采用一个 33的卷积层和 Softmax 层沿通道对每一个低分辨率（LR）图像像素进行核预测。最后使用最近邻插值来获得高分辨率图像的最终核预测。图 1SKENet2.2SKESRNet本文设计了一种基于残差密集块（Residual-in-Residual Dense Block，简称 RRDB3）和空间特征变换（Spatial Feature Transform，简称 SFT4）的非盲超解析器作
13、为图像重建模块，此模块和模糊核估计网络 SKENet 结合构成了空间变化模糊核估计的图像盲超分辨率网络，即 SKESRNet。其结构如图 2 所示。SKENet 估计出模糊核，经过 PCA 对模糊核降维再对特征进行拉伸，以匹配 LR 图像的空间大小。将得到的模糊核特征和 LR 图像不同层的向量特征在空间特征变换（SFT4）层连接起来。SFT4层对网络特征图进行空间上的仿射变换，可以加入到现有的 SR 网络结构中。在图像重建上本文借鉴 Xintao 等人提出的方法 ESRGAN3，它在 SRGAN 基础上去掉了基本残差单元 RRDB3块的 BN 层，减少了计算复杂度并提高了特征表现。采用 RRD
14、B3+SFT4结构对图像进行重建效果已经超过了现有的其他图像重建模型。图 2SKESRNet3实验3.1数据集实验训练所用图像来自 DIV2K5和 Flickr2K6数据集，共 3450 张 2K 清晰度的高质量图像。本文首先使用之前介绍的用于训练的高斯模糊核对这些图像进行模糊，然后使用双三次插值对其进行下采样得到训练所用的低分辨率图像。实验测试用的图像来自 Set57，Set148，BSD1009和 DIV2K5的验证集。与训练所用低分辨率图像生成方式相同。3.2参数设置基于现有的盲超分辨率工作，我们在大小为2121 的各向异性高斯核上进行了实验。训练过程中实验的核宽度1,2 U(0.175
15、s,2.5s)，s为放大倍数，旋转角度 U(0,)。我们用 DIV2K5 数据集随机剪裁 192 192 大小的图像块并且通过随机翻转和旋转来增强它们。然后用随机的核模糊随机图像块，本文的网络可以学习空间变化的核。对于 SKENet，三个残差网络块的通道数分别设置为 128,256 和 128。对电脑与信息技术 2023 年 8 月30于非盲 SR，我们先用 10 个 RRDB3块和 SFT4层训练一个改进的 RRDB3-SFT4网络，然后根据 SKENet估计的模糊核微调 RRDB3-SFT4。3.3实验结果我们比较了本文提出的空间变化核估计图像超分重建网络和现有的超分网络模型如 RCAN、
16、HAN、RDN、KernerlGAN 和 IKC。对超分结果的评价用峰值信噪比（PSNR）和结构相似度（SSIM）来表示。比较结果见表 1，黑色加粗代表最优的结果，下划线代表次优的结果。从表 1 中可看出，非盲超分辨率方法 RDN，RCAN 和 HAN 在遇到具有多种退化模式的数据时，表现不佳，这表明非盲超分辨率方法很难处理具有多种退化模式的图像。与盲超分辨率方法 KernerlGAN 和 IKC 对比，SKESRNet 具有更高的图像重建精度，这证明了 SKESRNet 的有效性。并且与其他图像超分辨率方法对比，SKESRNet 在多个放大倍数设定下均取得了最优的 SSIM 值，这表明SKESRNet 能够更加有效的利用模糊核去指导重建输入图像中的结构化信息。4结束语本文提出了一种基于空间变化模糊核估计的图像超分重建网络，由特征提取、模糊核重构和图像重建三个模块构成。我们在现有的超分数据集上进行了大量实验，证明了本文所提出了网络在图像超分重建方面性能更好，在未来研究中可以进一步提高图像超分辨率重建效果。参考文献：1 Sefi Bell-Kligler,Assaf Shocher,an