1、第 49卷 第 4期2023年 4月Computer Engineering 计算机工程基于双通道残差网络的水下图像去噪研究杨晶晶，谢海燕，薛妮妮，张傲明（大连海事大学 理学院，辽宁 大连 116026）摘要：水下图像去噪作为探索海底世界有效的辅助手段之一，备受研究人员的关注。传统的滤波方法存在去噪过程中容易损坏图像的细节，带有明显的噪声残留，且根据不同的噪声类型设计相应滤波器的问题，在深度卷积神经网络的基础上，提出一种改进的双通道残差卷积神经网络模型，用于去除水下图像的噪声。该模型由局部残差网（LRN）、全局稀疏网（GSN）和特征处理块（FPB）构成。通过双通道 LRN 和 GSN 并行提取
2、水下图像的多层次局部噪声特征和全局噪声特征，利用 FPB中的通道连接融合 LRN和 GSN提取的噪声特征，并使用其卷积层增强水下图像噪声信息。在此基础上，使用均方误差和平均绝对误差双损失函数优化网络参数，利用卷积层重构水下图像。实验结果表明，相比 BM3D、IRCNN、DnCNN等方法，该方法的平均峰值信噪比提高 0.023.52 dB，在有效去除各种水平的随机噪声同时能重构清晰的水下图像。关键词：卷积神经网络；双通道；残差学习；图像去噪；水下图像；图像处理开放科学（资源服务）标志码（OSID）：源代码链接：https：/ J.计算机工程，2023，49（4）：188-198.英文引用格式：Y
3、ANG J J，XIE H Y，XUE N N，et al.Research on underwater image denoising based on dual-channels residual network J.Computer Engineering，2023，49（4）：188-198.Research on Underwater Image Denoising Based on Dual-Channels Residual NetworkYANG Jingjing，XIE Haiyan，XUE Nini，ZHANG Aoming（College of Science，Dalia
4、n Maritime University，Dalian 116026，Liaoning，China）【Abstract】As an effective underwater exploration tool，underwater image denoising has received increasing attention and research in academia.To address the vulnerability of traditional filtering methods to image degradation in the denoising process，w
5、ith obvious noise residues，as well as facilitate the design of filters tailored to specific types of noise，an improved dual-channels residual Convolutional Neural Network（CNN）model is proposed herein on the basis of a deep CNN to eliminate noise from underwater images.The proposed model consists of
6、a Local Residual Network（LRN），Global Sparse Network（GSN），and Feature Processing Block（FPB）.The multi-level local noise and global noise features of underwater images are extracted via the dual-channels LRN and GSN in parallel.The channel connection in FPB is then used to fuse the extracted noise fea
7、tures from LRN and GSN，and the convolution layer is employed to enhance the noise information.On this basis，two double loss functions-Mean Square Error（MSE）and Mean Absolute Error（MAE）are used to optimize the network parameters，and the convolution layer is used to reconstruct the underwater images.T
8、he experimental results show that compared with that of BM3D，IRCNN，DnCNN，and other methods，the average Peak Signal-to-Noise Ratio（PSNR）of the proposed method increases by 0.023.52 dB.Thus，the proposed method successfully removes various levels of random noise and reconstructs clear underwater images
9、.【Key words】Convolutional Neural Network（CNN）；dual-channels；residual learning；image denoising；underwater images；image processingDOI：10.19678/j.issn.1000-3428.0064662基金项目：中央高校基本科研业务费专项资金（3132019400）。作者简介：杨晶晶（1996），女，硕士研究生，主研方向为计算智能、优化算法；谢海燕（通信作者），副教授；薛妮妮、张傲明，硕士研究生。收稿日期：2022-05-09 修回日期：2022-08-12 Emai
10、l：图形图像处理文章编号：1000-3428（2023）04-0188-11 文献标志码：A 中图分类号：TP391第 49卷 第 4期杨晶晶，谢海燕，薛妮妮，等：基于双通道残差网络的水下图像去噪研究0概述随着科学技术的快速发展，人类需要进一步开发海洋资源并认识海底生物与海底的可利用资源，这将有利于学者对海洋资源的研究。水下清晰图像作为水下视觉的辅助手段，是了解海底世界最直观的方式。虽然远程操作水下航行器具有高质量的成像系统，但是由于受水分子的色散、水中微生物，以及相机中传感元件质量等因素的影响，采集到的水下图像会带有很多的复杂噪声，大幅降低水下图像的视觉质量，严重影响机器视觉和后期水下图像的
11、应用，给计算机视觉领域带来极大挑战。经典的图像去噪方法包括均值滤波1、中值滤波2、小波变换3等。以上这些去噪方法虽然运算较简单，且具有较强的自适应性，但是存在无法避免的问题。均值滤波虽然计算速度快，但是在去噪过程中会损坏图像的高频区域，造成图像的细节损失。中值滤波利用滑动窗口排序后的中间值替换窗口中心像素值，能够去除图像高频部分的噪声。但是中值滤波对于噪声相对密集的部分图像，去噪效果就会减弱，随着滑窗的增大，也会使图像变得模糊。这些方法需要根据局部噪声调整出适合噪声特点的滤波器，此过程面临诸多困难。在小波变换中阈值的选择会影响图像的去噪效果。此外，不同的噪声图像需要设置不同的阈值。相比经典的图
12、像去噪方法，基于卷积神经网络（Convolutional Neural Network，CNN）的图像去噪方法具有较优的性能。ZHANG 等4利用残差学习加快训练过程，使得前馈去噪神经网络（DnCNN）训练一个模型就可以完成多个图像去噪任务，如高斯去噪、单图像超分辨率和 JPEG 图像去噪。为降低深层网络的训练难度，TIAN 等5结合残差学习和批处理归 一 化，提 出 一 种 新 的 增 强 卷 积 神 经 去 噪 网 络（ECNDNet），加快网络的收敛速度。文献 6 将改进的 VGG 网络和深层字典的图像去噪算法相结合，用于抑制低剂量计算机断层扫描图像的噪声和伪影，该方法保留较完整的图像细
13、节信息。JIANG 等7将残差学习、扩张卷积均集成于深度卷积神经网络上，在提高网络去噪性能的基础上，保留更多的原始图像信息。以上这些方法虽然取得较优的效果，但是未考虑到图像的局部特征和整体特征，仅实现对地面图像的去噪处理，并没有尝试将其用于水下加性噪声图像的去噪任务。研究人员对基于CNN的水下图像去噪进行研究。ZHOU 等8设 计 卷 积 去 噪 自 编 码 器（Convolutional Denoising Auto-Encoder，CDAE），通过对分割后的多幅图像进行并行训练，获取去噪特征，从而达到水下图像去噪的目的。WANG 等9在 CNN 的基础上构建一个 RGB 像素级块，用于对水
14、下图像进行简单的处理，如去噪和去除颜色偏差。文献 8-9 将 CNN应用于水下图像去噪领域，但是其仅作为预处理的一小部分。虽然以上工作实现了水下图像的去噪任务，但是以上基于 CNN 的水下图像去噪方法对不同特征（图像局部特征和全局特征）不加区分的处理，在很大程度上会阻碍水下图像去噪水平的提高。一种双通道 CNN框架10DudeNet被引入到地面图像去噪领域，并取得较优的去噪结果。该框架使用双通道卷积神经网络提取互补的局部特征和全局特征，增强广义去噪能力。但是，该方法将单一的均方误差作为损失函数，当网络结构较深时，易出现梯度消失现象。受上述残差和双通道的启发，本文提出一种水下双通道残差网络（Un
15、derwater Dual-Channels Residual Network，UDRN），用于水下图像去噪的双通道残差卷积神经网络。将残差块引入到双通道图像去噪网络中，以提取局部图像的不同浅层空间特征，改进双通道去噪网络。利用均方误差和平均绝对误差双损失函数优化网络参数，从而避免出现梯度消失现象。1基本概念1.1残差块文献 11 提出的残差学习是通过在普通卷积层的基础上加入跳跃连接，提高训练误差，从而避免因网络太深出现的梯度消失现象。残差学习是目标图像与输入图像的差值，这种差值的学习远比学习目标图像与输入图像容易。相比标准卷积，残差块能实现有效的信息传输，避免因卷积丢失图像信息而增大网络的训
16、练难度。也正是因为残差连接的加入，残差块才可以充分学习不同层次的图像特征，从而提高该网络的特征表达能力。1.2空洞卷积图像去噪过程主要依赖于像素域中相邻像素之间的联系。因此，扩大卷积层的感受野可以提高图像去噪的准确性。加深卷积的深度或者增大卷积核的大小可以扩大接收域，但是会增加网络参数量，对于网络后期的学习是非常困难的。与普通卷积层相比，空洞卷积12-13是在普通卷积核中插入间隔的零权值以构成新的卷积核。传统 33 卷积核有 9 个权值，感受野为 33，而扩张率为 2 的 33 空洞卷积核的感受野为 55，依然有 9 个有效权值，其他权值均为 0。因此，空洞卷积14在不增大参数量的情况下具有更广泛的感受野，在获得更加密集的图像特征信息的同时，提高网络的去噪能力，从而较完整地保留图像的空间特征，不损坏图像的空间信息，使得每个卷积的输出都包含较大范围的图像特征，减少因池化而产生图像信息损失。基于扩张卷积的网络不仅能提取多样化的特征，而且减少网络的深度。1892023年 4月 15日Computer Engineering 计算机工程1.3稀疏机制稀疏机制15由普通卷积层和空洞卷积层间隔地混