1、 年月第 卷第期计算机工程与设计 基于简单通道注意力机制的单图像超分辨率重建算法高艳鹍，刘一非，李海生，彭凯康，刘朝晖（中国航天科工集团第二研究院七六所，北京 ；北京工商大学 计算机学院，北京 ；南华大学 计算机学院，湖南 衡阳 ）摘要：现有的单图像超分辨率重建算法一般存在重建图像过于失真或将低分辨率图像噪点放大的问题，针对上述两个问题，提出一种基于简单通道注意力机制的生成对抗网络（）模型。采用随机高阶退化模型缓解重建图像过于失真的问题；加入简单通道注意力机制模块到残差密集块中作为模型的生成器网络模块，解决重建图像将低分辨率图像重建后噪点会放大的问题。实验数据表明，与现有的超分辨率算法相比，该
2、算法有效降低了重建图像过于失真与将低分辨率图像噪点放大的问题，重建出的图像更加真实自然。关键词：超分辨率重建；通道注意力机制；退化模型；数据集构建；残差密集块；生成对抗模型；深度学习中图法分类号：文献标识号：文章编号：（）：收稿日期：；修订日期：基金项目：国家自然科学基金项目（）作者简介：高艳鹍（），男，黑龙江哈尔滨人，硕士，高级工程师，研究方向为智能信息处理、软件测评技术与软件工程；通讯作者：刘一非（），男，北京人，硕士研究生，研究方向为计算机视觉；李海生（），男，山东德州人，博士，教授，博士生导师，研究方向为计算机图形学、三维重建；彭凯康（），男，湖南娄底人，硕士研究生，研究方向为智能信息
3、处理；刘朝晖（），男，湖南衡阳人，博士，副教授，研究方向为智能信息处理、工业大数据。：，（，；，；，）：，（），：；第 卷第期高艳鹍，刘一非，等：基于简单通道注意力机制的单图像超分辨率重建算法引言随着图像 处 理 应 用 程 序 的 发 展，对 高 分 辨 率（，）图像的需求日益增加，而单图像超分辨率重建（，）问题，不仅成为计算机视觉图像处理领域的研究方向之一，也在视频监控领域，生物特征识别领域发挥着不可或缺的作用。技术的方法主要有基于插值的方法、基于重建的方法和基于学习的方法。随着深度学习技术的兴起与不断发展，等提 出 了 基 于 卷 积 神 经 网 络（，）的图像超分辨率重建（，）算 法，
4、引 入 深 度 学 习 算 法。等提出 算法，提出了轻量化模型，在不需要很深的网络模型的情况下，取得了更好的效果。受生成对抗网络（，）启 发，等提出了超分辨率生成对抗网络（，），此算法在一些原本光滑的地方也会产生尖锐的噪声问题。为了解决这些问题，可以考虑降低 模型的参数量或者采用其它方法来优化重建图像的质量。为此 等提出了增强型的 算法 ，通过两种随机过程构建出退化模型，在模型上利用残差缩放加快深层网络的训练速度的同时缩减参数量，使得重建的图像纹理更丰富。然而现有的单图像超分辨率重建一般算法存在重建图像过于失真或将低分辨率图像噪点放大的问题。针对上述问题，本文提出了一种基于简单通道注意力机制的
5、单图像超分辨率重建算法 。相关理论 通道注意力机制将注意力转移到图像中最重要的区域并忽略不相关部分的方法称为注意力机制，注意力机制已经广泛应用到计算机视觉相关领域，由 等提出 算法开始，同时提出了通 道 注意 力（，），的核 心 是 一 个 压 缩 和 激 励（，）块。模块的结构如图所示。图 模块结构 的思想是给每个特征图不同的权重，关注更有用的特征，但有参数量多，权值不共享的缺陷。等 提出 算法，其中包含简单通道注意力机制（，），将 模块的 层替换为卷积模块，利用卷积操作来实现通道间的信息交换，同时降低参数量，通过保留通道注意力机制的全局信息聚合以及通道信息交互的同时，尽可能简化模块。残差网
6、络及其变体网络残差网络（，）由 首次提出，具体定义请参见文献 。其中的核心便是残差模块（，），残差模块的结构如图所示。图残差模块结构包含一个捷径链接（）的几层网络被称为一个残差模块。一个残差模块分为直接映射部分和残差部分，当捷径开启时，输出可以表示为（），当捷径关闭时，输出此时等于（）。密集网络（，）由 提出。具体定义请参见文献 。其中的核心便是密集模块，密集模块（，）的结构如图所示。图密集模块结构密集模块基本思路与残差模块一致，同样建立前面层与后面层的短路连接，不同的是，密集模块建立的是前面所有层与后面层的密集连接并将输出全部拼接作为密集模块的输出，实现了特征重用，在参数和计算成本更少的情形
7、下实现比残差模块更优的性能。残差密集块（，）由 等 首次提出，允许从先前所有 的状态直接连接到当前 中的所有层，从而形成了连续记忆（，）机 制。残 差 密 集 块 的 结 构 如 图 所示。残差密集块结合了残差模块 与密 集模块的 优点，输入与密集 模 块 的 输 出 作 为 输 入，共 同 组 成 一 个 残 差 模计算机工程与设计 年图残差密集块结构块。残差密集块 每 个 卷 积 层 都 可 以 访 问 所 有 的 后 续 层，传递需要保留的信息，从而实现优于残差模块与密集网络的性能。假设输入为一个图片，其中第层的非线性变换记作（），（）可以是多种函数操作的累加如，和 等。第层 的 特 征
8、 输 出 记 作（），那么，的第层的特征输出可以分别表示为（）（）（，）（）（，）（）算法 网络框架 模型主要由生成器 和鉴别器 组成。该模型以具有简单通道注意力机制的残差密集链接块作为生成器。其次使用损失引导判别器判断“一幅图像相对于另一幅是否更真实”，而不是“一幅图像是真实的还是虚假的”，最后通过融合平均绝对误差、感知损失、内容损失作为生成器的损失函数。生成器 生成器结构生成器 的结构如图所示。生成器首先将原始图像输入至卷积层 中，得到的特征图输入至连续的 模 块 中，同 时 输 入 至 卷 积 层 中，模块的输出特征与卷积层 得到的输出特征按照元素进行相加操作作为卷积层 的输出，输入至上
9、采样网络中。上采样网络采用最近邻采样法进行两倍的上采样操作，同时作为卷积层 的输入进行两次上采样操作。图 网络结构生成器采用类似 的 结构，借鉴了其中 的 （）模 块，将 模块进行分组连接的同时，加入残差连接，并将每一个 模块进行加权操作，的结构如图所示，图中代表输入每经过一个模块，都乘以一个系数。图 结构虽然 可以通过不断拼接通道达到特征重用的作用，但因特征通道维度过高，所以本文提出了一种含有残差连接的包含简单通道注意力模块的密集块模块（，）来代替 模块。其中通过残差连接可以降低模型复杂度以减少过拟合，防止梯度消失，而密集连接是为了避免正反向传递过程中的信息丢失问题，加入简单注意力机制通过自
10、动学习的方式，获取到特征图的每个通道的重要程度，并赋值权重，从而让神经网络关注从经过密集网络块后的权重高的特征通道。生成器采用共 个 ，到 的参数与上采样的两层卷积层设置见表。表 卷积层参数卷积层输入通道输出通道内核数步长填充 结构 结构与 相似，由个简单通道注意力机制密集网络块（，第 卷第期高艳鹍，刘一非，等：基于简单通道注意力机制的单图像超分辨率重建算法 ）组成，的结构如图所示。为了使模型有更好的泛化性，在 中未包含 层，使用卷积层与 激活函数进行组合，的结构如图所示。输入每经过一个模块，都乘一个系数并累计前馈输入，本文 ，最后将总输出乘系数并与输入的和作为输出。图 结构图 结构 模块由层
11、卷积层组成的密集网络和简单通道注意力模块组成，层卷积层的参数见表。因为采用密集网络，所以下一层的输入通道数为先前层输出的堆叠。图为简单通道注意力模块 的结构图。一般的通道注意力模块直接将输入经过 后，连接两层卷积层并通过 与 激活函数，本文采用类似 的结构，将 （）激活函数进行进一步简化，可以被视为激活函数的泛化，它可能能够取代非线性激活函数。本身包含非线性，不依赖于。为了降低计算量，移除提出了一个简单的 变体：首先将特征图按照通道维度平均分为两部分，使这两部分做点乘，减少计算量的同时达到更优的效果，随后接入简单通道注意力机制，直接利用 卷积操作来实现通道间的信息交换减少激活函数带来的波动，降
12、低了中间层的特征维度。表 卷积层参数卷积层输入通道输出通道内核数步长填充 图简单通道注意力模块 结构 判别器本文判别器采用变体，结构如图 所示。图 判别器结构本文采用的判别器结构与 算法的判别器结构类似，这里定义卷积层、层、激活函数所拼接而成的模块为 模块。判别器首先接入卷积层和 激活函数层，随后连接个 模块，最后通过两层 全连接层连接一个神经元用于后续判断生成器生成的 图片与真实图片的差异性。判别器 模块中 统一使用 的负斜率，其中卷积层具体参数见表。表 判别器具体参数模块输入通道输出通道内核数步长填充 计算机工程与设计 年 损失函数传统的 计算损失时，传统 的判别器计算真实数据与之间的损失
13、，计算生成数据与之间的损失，传统 的损失函数如下（）（）（）（）（）（）其中，为生成器生成的图片，为 真 实 的 图 片，为 函数，为判别器的输出，本文 的损失函数借鉴 的想法：因为和作为中间数据，阻碍了信息的传播，所以直接计算真实数据与生成数据之间的损失，本文的 的损失函数如下（，）（）（）（）（，）（）（）（）相比标准的鉴别器，本文算法采用平均鉴别器，代表取每个 的图像的平均值的操作，为了更好衡量生成的虚假数据与真实数据的差别，本文判别器使用的损失函数为对抗损失（，）（），）（），）（）（，）（）（）（）（）生成器损失分为个部分，损失、内容损失以及对抗损失，并赋予不同的权重，具体公式如下所
14、展示（，）（）（，）（，），（，）（）（，）（，）（）（）其中，为网络函数，（，）代表将输入至 网络后得到的输出，内容损失 为利用 提取真实图像和生成图像标准化的向量后的值的平均绝对误差。实验 实验环境细节实验所需的硬件环境和软件环境见表。表实验环境参数值操作系统 位 主频核心数 （）显存 实验细节：数据集采用 与 的集合数据集，（），数据集作为 的 指定用数据集，一共包含 张 分辨率的 图像，其中 张为训练集，张为验证集，张为测试集。数据集内部与 分辨率的 （）数据集相对应的还有降低质量各种倍数的 （）数据集，是一个大型扩展数据集，包含来自 的 个 图像。首先将训练集进行高阶退化操作，高阶退
15、化模型为 等 提出的 算法中的数据预处理算法，为了还原的图片更加自然，数据集需要通过模糊，添加噪声，图片压缩等使得图像退化，而高阶退化模型，即是多次对一张图片进行退化操作，传统的退化模型如下（）（）（）其中，表示退化过程，代表卷积操作，代表模糊核，代表下采样操作，代表了 压缩。主要表现为数据（用表示）先和模糊核做卷积使整个图像模糊，进行下采样操作，然后加入噪声，最后做 压缩。算法中的高阶退化模型默认为二阶，即做两次传统的退化模型，如图 所示。图 高阶退化模型二阶退化模型可能对图片退化过度，导致算法重建效果丢失过多纹理，而传统的退化模型会导致算法重建效果伴有放大的噪声，所以本文提出随机退化模型，
16、随机退化模型如图 所示。图 随机退化模型第 卷第期高艳鹍，刘一非，等：基于简单通道注意力机制的单图像超分辨率重建算法随机退化模型在第一次退化之后随机选择是否进行二次退化操作，每次退化随机使用模糊或者翻转随机角度，添加随机噪声对数据集进行退化操作，提高泛化能力的同时，保证训练图像不因为过度退化导致算法重建图像时放大噪声，形式如下所示 （，）（）（）训练过程分为两个步骤，首先通过 损失训练出 模型，放大倍率为，优化器使用 ，学习率设置为 ，更新 过 程 中 得 指 数 衰 减 速 率 ，以 最大 化峰 值信噪比（，）的数值为训练目标，最多进行 轮的训练。随后进行 的训练，生成器判别器的优化器同时采用 ，学习率设置为 ，更新过程中得指数衰减速率 ，设置为，以 的数值为训练目标，最多进行 轮的训练。结果与分析结果采用 、测试集作为测试，选用 与基于学习的感知相似度 度量（，）作为评价指标，的计算公式如下 （）（）（）（）其中，和与和表示自然图像和失真图像的均值与方差矩阵。基于深度学习的超分辨率算法将问题一直固定在最大峰值信噪比 ，与最大图片结构相似性（，）上，对于生成的 图片与真实图片，定义，
