1、第45卷 第02期 2023-02【65】收稿日期：2021-04-10基金项目：上海市科学技术委员会资助项目（19DZ2254800）作者简介：王亚茹（1994-），女，河南人，硕士研究生，研究方向为图像处理与图像识别。基于卷积神经网络的水下图像增强技术研究Underwater image enhancement based on convolution neural network王亚茹*，刘雨青，黄璐瑶，李志浩WANG Ya-ru*，LIU Yu-qing，HUANG Lu-yao，LI Zhi-hao（上海海洋大学 工程学院，上海 201306）摘 要：清晰的图像对于海洋工程和海洋研究
2、有至关重要的作用，而在水体环境下，受到光照不均匀以及光的吸收和 散射等因素的影响，水下图像的质量会降低。提出基于卷积神经网络的水下图像增强算法，采用模块化结构建立网络模型。该模型由四个BLOCK模块组成，每个BLOCK模块包含三个卷积层和1个Concat层。并采用水下图像合成的方法及水下数据集对网络模型结构进行训练，利用水下图像数据集和鱼类数据集进行模型验证。结果表明，提出的模块化网络结构具有良好的图像增强效果；经过颜色空间转化做归一化处理，使得图像增强对比度和亮度具有更好的对比性。关键词：卷积神经网络；图像增强；网络模块化中图分类号：TP391.41 文献标志码：A 文章编号：1009-01
3、34(2023)02-0065-040 引言由于光的吸收和散射会使水下图像的可见度和对比度降低，并且出现颜色失真现象，而清晰的图像对海洋工程和海洋资源开发具有重要意义。为解决水下图像清晰度问题，需要对水下图像做增强处理。近年来，我国不断加大在水下图像视觉质量方面的研究1,到目前为止，水下图像清晰度研究主要包括图像增强方法、图像恢复方法和补充信息专用方法。在这方面的研究中，C.Ancuti2等人采用融合对比度和从输入中获得的色彩校正的方法来提高水下图像和视频的视觉质量。A.Ghani and A.IsaN3,4利用瑞利拉伸的对比度限制自适应直方图的方法解决了上述所出现的问题，但出现了噪点增加的问
4、题。C.Li5等人实现了水下图像色偏的校正，并利用改进的去雾算法提高了图像的可见度，但该种方法不适用于图像颜色先验受限不可用的情况。随后，C.Li6等人根据水下图像和空中图像之间的跨域映射功能提出了一种基于弱监督颜色转移的水下图像色彩校正方法，从而减少了对水下图像进行训练的需求，并允许在未知位置进行水下图像拍摄。Carlevaris-Bianco7等人利用三个颜色通道之间的衰减差异实现了水下场景介质传输的预测，解决了光的散射对水下图像清晰度的影响，但此方法局限于图像三个颜色通道间的差异。J.Chian8等人利用图像去雾算法和波长相关补偿算法消除了水下图像的蓝色调和人造光的影响，但在处理严重偏色
5、的水下图像时这种方法就显示出严重的局限性。Galdran9等人通过恢复与短波长相关的颜色来恢复水下图像的对比度损失。类似地，Drews10等人提出了水下暗通道先验法，称为UDCP，它修改了He11等提出的暗通道先验法，在某些情况下可以估算媒介传输，然而，当水下场景中有白色物体或人造光时，水下暗通道先验并不总是成立。C,Li12,13等人提出同时产生两个增强的水下图像的方法，此方法结合了水下图像去雾算法和对比度增强算法。具有相对真实色彩和自然外观的一幅图像适合显示，而另一幅具有高对比度和亮度的图像可用于显示更多图像细节。最近，J.Li和K.Skinner14等人提出了一种基于CNN的实时水下图像
6、色彩校正模型，该模型基于以弱监督学习方式生成的合成水下图像。尽管如此，该方法仅对在特定场景下捕获的水下图像有效，该特定场景必须与其训练数据相似，难以应用于实际问题中。并且有些方法还会引入一些虚假的图像，使用专用传感器过于昂贵，降低其适用性。深度学习在低级视觉上取得了良好的效果，但缺少足够标记的训练数据，无有效的深度模型可用于水下图像增强，限制了深度学习在这方面的发展。为此，本文提出了一种具有模块化结构的卷积神经网络模型，采用了最新推出的水下图像合成方法，提高网络模型的泛化能力，并对MSE和SSIM的值进行优化，在保留原始结构和纹理的同时，实现了水下图像的重建，达到了图像增强的效果。1 网络模型
7、1.1 图像增强的网络模型结构卷积神经网络具有强大的建模能力，可以对原始水下图像和增强的图像进行补偿，并且通过学习水下图像与原始图像之间的关系对外部先验进行建模。根据分类问题中最新的紧密连接网络模型，搭建一个紧密连接的全卷积【66】第45卷 第02期 2023-02网络。网络模型结构主要有卷积层、激活函数和连接层构成。如图1所示。图1 水下图像增强网络模型结构网络结构中有四个BLOCK模块组成，BLOCK模块有block模块和Concat层组成，在网络的末端，我们只有一个卷积层，网络结构的主要介绍如下：输入层：输入的参数是水下RGB图像。残差结构：本文模型结构中并没有直接预测通过学习映射功能得
8、到的潜像,而是用网络去学习和成水下图像和原始图像之间的关系。公式中U为输入的原始图像，I就是通过学习映射功能得到的潜像。合成图像的任务并不是图像增强的重要目标。在到达最终损失层之前，通过许多卷积滤波器处理后续层中的水下图像及其特征图。虽然我们的网络层没有很深，但是依然可能会存在渐变消失和梯度爆炸的问题16。为了在迭代期间避免出现这样的的问题，采用强制学习残差的方法，即将输入添加到输出中。(1)(2)模块结构：网络结构中有4个模块，形成模块化结构。BLOCK模块有block模块和Concat层组成，每个block模块有3个卷积层（Conv）-激活层（ReLU）对，1个连接层。卷积层由16个大小为
9、333的卷积核组成，第一层有16个输出特征图，而随后的卷积层分别使用3316卷积核的过滤器。激活层主要是引入非线性函数。连接层主要是连接3个卷积层-激活层对的输出以及block模块的输出构成。最后通过卷积层估计网络模型的输出。每个模块中第一个卷积-激活层的输出为Pm,0 (3)通过构成一系列卷积-激活层，我们可以得出模块中的每个卷积-激活层输出Pm,n：(4)每个独立的模块的输出是每个卷积-激活层输出的第三维和输入图像连接起来,记为Bm：(5)每个模块的输出是每个卷积-激活层输出的第三维和输入图像连接起来，记为Bm+1：(6)上述表达式中，c为卷积层的符号，r是激活层的符号，U是输入量，m是模
10、块的个数，n是每个模块中卷积-激活层的个数，h是全连接层的符号，表示权重与阈值之间的关系。网络模型结构没有使用全连接层，而是将所有卷积层都堆叠在每个模块的末尾，这与DenseNet15不同，DenseNet中的每个卷积层都与同一块中的其他卷积层相连。之所以不使用任何完全连接的层或批处理规范化步骤，为了使得网络内存高效且快速。将输入图像馈送到每个块。将卷积层与输入数据进行堆叠可以减少对非常深的网络的需求。网络采用模块化结构，降低网络的深度使得模型在训练和预测过程中计算上不昂贵且非常实用。网络中不使用任何池化层，并且在每个卷积层之前添加零，减少了边界伪像，实现了端到端的低级视觉任务，保证了输出图像
11、与输入图像相等。1.2 网络损失函数整个网络模型结构主要实行图像重建，在计算目标函数时会存在像素损失，为了保留边缘和细节的清晰度，采用均方误差（MSE）作为损失函数的一部分。网络结构模型损失函数中均方误差表达式：(7)(8)上述表达式中I(xi)为估计的潜像的像素值，I*(xi)是训练数据集相应的地面图像的真实值。我们在处理图像时，将结构和纹理的相似性加在潜像中，采用峰值信号SSIM16损失进行处理,灰色图像来计算SSIM。(9)上述表达式中，I(x)是潜像图像块的平均值，I(x)是潜像图像块的标准差，I*(x)是地面上真实图像的平均值，I*(x)是地面上真实图像的标准差，I*I(x)是潜像与
12、真实图像的像素交叉协方差，c1,c2是SSIM损失的默认值，分别设为0.02，0.03，为了使模型结构更加稳定，我们将模型中的SSIM的损失函数表达为：(10)模型中总的损失函数为：(11)第45卷 第02期 2023-02【67】2 实验结果与分析本文不仅对网络模型做了定性分析，还对其做了定量分析，并且与UDCP方法、RED方法、ODM方法、UIBLA方法进行了对比。通过多次的参数设置来运行由相应作者提供的源代码17，以产生最佳结果，从而进行客观评估。2.1 水下图像的合成在深度学习领域中，训练网络模型需要大量的数据集，而水下数据集比较匮乏，由此我们使用地面上的数据集进行合成。主要根据不同的
13、衰减系数16生成ABCD四种类型的图像作为训练数据集，原始数据集主要来源于NYU-v2 RGB-D数据集，这四种类型的图像清晰度依次减弱。合成图像的效果如图2所示。图2 合成图像2.2 网络结构的训练合成的图像作为网络结构的输入，将学习速率设置为0.0001，bathsize设置为16，采用Inter（R）i5 k CPU，32GB RAM和Nvidia GTX 1060Ti硬件设备，Tensorflow作为深度学习的框架。将通过本文网络模型训练的出的结果与UDCP方法、RED方法、ODM方法、UIBLA方法得出的结果进行比较，图3中展示了本文模型结构与其他几种方法在测试样本数据集上定性的比较
14、效果。图3 合成测试数据集的定性分析根据上图显示，UDCP方法使得四种类型的效果变暗，影响视觉效果。RED方法适用于A型、B型和D型。ODM方法和UIBLA方法改善了各自结果的可见性，与此同时引入了人工颜色或颜色偏差，形成鲜明的颜色对比，产生较高的颜色误差。本文的模型结构不仅仅使图像达到增强的效果，而且色彩比较真实，具有较低的颜色误差。2.3 水下真实数据集的验证除此之外，我们在真实的水下数据集的采用均方误差(MSE),噪声比(PSNR)和峰值信号(SSIM)量化每种类型的准确性用于定量分析。通过水下摄像和爬虫技术获取水下真实数据集,测试结果如图4所示。如果均方误差(MSE)和噪声比(PSNR
15、)的值越低，图像内容标签越相似，结果越好。而峰值信号(SSIM)值越高，意味着在图像结构和纹理方面呈现的效果越好。具体结果如表1所示。图4 水下真实数据集测试结果表1 定量分析结果比较类型UDCPREDODMUIBLA本文模型MSEA型2062.33489.72508.62812.6587.70B型3130.14953.23130.12812.1747.50C型2337.62240.01701.11697.8456.40D型6708.98385.83488.94563.71295.1PSNRA型15.75715.59616.08515.07921.790B型14.47412.78914.282
16、13.44220.251C型14.92416.69016.71017.10022.633D型10.86211.12314.12312.61117.517SSIMA型0.76290.74060.72400.69570.8558B型0.66140.66390.67650.57650.7951C型0.42690.79110.75460.76550.8795D型0.75870.59340.64410.47480.7266 根据上表可知，本文模型的MSE值比其他方法的值低【68】第45卷 第02期 2023-02很多，具有显著的效果，而PSN值比较高，但使通过与MSE的分数作比较，误差较小，本文模型也具有优势。SSIM的值相对于其他方法比较高，说明本模型在图像结构和纹理方面呈现良好的效果。2.4 鱼类数据集的验证研究水下数据增强的方法，主要是为鱼类识别技术奠定基础，使得鱼类识别的效率和准确率更高。因此我们将本文的网络结构模型应用到鱼类数据，在鱼类数据集上加以验证。结果如图5所示。图5 网络结构模型在鱼类数据及上的验证结果如上图所示，在鱼类数据集上也有明显的效果，可以达到图像增强的效果，但是这种增
