1、第 44 卷第 2 期2023 年 2 月哈 尔 滨 工 程 大 学 学 报Journal of Harbin Engineering UniversityVol.44.2Feb.2023基于轻量级神经网络的单幅图像去雨滴模型陈峥1,毕晓君2(1.哈尔滨工程大学 信息与通信工程学院,黑龙江 哈尔滨 150001;2.中央民族大学 信息工程学院,北京 100081)摘 要:目前单幅图像去雨滴网络的特征图存在较高的相似性和冗余性,导致模型的参数量庞大,极大限制了其在实际应用中的部署。本文提出一种基于轻量级神经网络的单幅图像去雨滴模型。采用一种幻像特征生成残差块,用于解决网络中特征图的相似性和冗余性
2、问题。设计了一种复合折叠式重用机制,有效改善了由于参数减少带来的模型性能下降。提出一种轻量级门控循环单元,用于强化折叠式去雨滴架构中的深度特征交互,进一步提高了模型的性能。实验结果表明:本文提出的轻量级去雨滴模型在性能持平或略高于目前 3 种算法的前提下,分别实现了模型参数量的 18、37 及 51 倍的压缩,较好解决了在实际应用中的部署问题。关键词:单幅图像去雨滴;轻量级网络;幻像特征生成;深度学习;循环神经网络;门控循环单元;特征融合;特征交互DOI:10.11990/jheu.202207013网络出版地址:https:/ 文献标志码:A 文章编号:1006-7043(2023)02-0
3、292-08A single image raindrop removal model based on lightweight neural networkCHEN Zheng1,BI Xiaojun2(1.College of Information and Communication Engineering,Harbin Engineering University,Harbin 150001,China;2.School of In-formation Engineering,Minzu University of China,Beijing 100081,China)Abstract
4、:At present,the feature maps in the single image raindrop removal network have high similarity and redun-dancy,resulting in a huge number of parameters of the existing models.It greatly limits the deployment in practical applications.To this end,this paper proposes a single image raindrop removal mo
5、del based on lightweight neural net-work.The model employs a ghost feature generation residual block to solve the similarity and redundancy of feature maps in the network.A composite foldable reusing mechanism is designed to effectively improve the models perform-ance degradation caused by parameter
6、 reduction.A lightweight gated recurrent unit is introduced to enhance the in-teraction of deep features in the folded raindrop removal architecture,which further improves performance of the mod-el.The experimental results show that the proposed lightweight raindrop removal model respectively achiev
7、es 18-,37-,and 51-times the compression of parameters,whose performance is equal to or slightly higher than that of the current three state-of-the-art algorithms.It better solves the deployment problem in practical applications.Keywords:single image raindrop removal;lightweight network;ghost feature
8、 generation;deep learning;recurrent neural network;gated recurrent unit;feature fusion;feature interaction收稿日期:2022-07-06.网络出版日期:2022-11-04.基金项目:国家社会科学基金重大项目(20&ZD279).作者简介:陈峥,男,博士研究生;毕晓君,女,教授,博士生导师.通信作者:毕晓君,E-mail:bixiaojun .下雨是最为常见的自然现象之一。下雨时不同大小形状的雨滴往往会附着在玻璃窗或相机镜头上,导致一些户外智能设备所采集到的图像存在遮挡以及模糊的现象1。这
9、些不清晰的图像将直接影响各种后续的目标检测,语义分割和场景解析等计算机视觉任务。因此,近年来图像去雨滴任务受到学者们的广泛关注,成为研究热点1-9。目前去雨滴方法可以被大致归为 2 类:第 1 类是基于先验知识的传统算法1-2,第 2 类是基于神经网络的深度学习方法3-9。第 1 类方法通常需要手工设计或者估计雨滴的退化模型,并利用主观的先验知识进行建模。由于存在泛化能力差和计算时间多等缺点,近年来已逐渐被第 2 类方法所代替。Fu 等3提出搭建深度细节网络(DDN)直接学习有第 2 期陈峥,等:基于轻量级神经网络的单幅图像去雨滴模型雨图和干净背景之间的映射。将残差网络作为主要结构,以获得有雨
10、图深层的图像特征。尽管其过于单一的网络结构导致这种模型的性能有限,无法很好地处理下雨天的各种复杂场景,但是该模型的出现却引发了深度学习方法在图像去雨滴领域的研究热潮。特别是近两年,更多结构复杂且设计精巧的神经网络应运而生,去雨滴模型的性能有了很大的提高。具有代表性的有 Shao 等6提出了软掩码的新思路,用-1,1的值表示雨滴对背景图像的模糊程度,并构建一种多尺度金字塔网络来移除雨滴。该方法在模型的精度方面确实取得了非常优异的性能。然而,它的模型尺寸越来越大,推理速度也越来越慢。为了解决这一问题,Guo 等7又设计了一种快速高效的网络模型。该模型最重要的思想是把图像去雨问题看成图像的逐像素滤波
11、问题。由于滤波操作是高度优化的操作,因此该模型在 GPU 上的推理速度比较快,性能得到了很大提高。但是,该模型的部署和使用仍然需要较多的计算资源和内存消耗。而对于像无人机、自动驾驶汽车或者 AI 芯片这些存储空间十分受限的移动终端或者嵌入式设备而言,该模型的参数量仍无法满足实际应用的需求。因为一套成熟的图像处理系统需要配备多个不同任务的图像处理模型。去雨滴作为一种前端任务,如果能够在保证性能的前提下尽量地减少内存消耗,就会为其他更复杂的任务节省宝贵的存储资源,从而使整个系统实现更有效的运转。基于以上分析,本文提出一种基于轻量级神经网络的单幅图像去雨滴模型。首先,采用一种幻像特征生成残差块。通过
12、结合逐点卷积10、分组卷积11以及通道注意力机制12,解决现有去雨滴模型存在高相似性和高冗余性特征图的问题,从根本上减少参数量。然而,随着参数的大幅减少,去雨滴模型的性能必然会下降。为此,进一步设计了一种复合折叠式重用机制,分别在内部模块及网络整体结构对有限数量的特征进行回顾式利用,一定程度上弥补了参数较少带来的性能下降。最后,又提出一种轻量级门控循环单元。目的在于将轻量级去雨滴模型折叠计算前后的深层特征建立联系,强化信息的交互,进一步提高轻量级去雨滴模型的性能。1 单幅图像去雨滴任务 目前,单幅图像去雨滴已成为近年来图像处理领域的研究热点,其目的在于将被雨滴污染的模糊图像复原为清晰的干净背景
13、,从而降低对后续计算机视觉任务的不利影响,图 1 给出了去雨滴任务的示意图。雨滴图像的退化模型可以表示为:I(x)=(1-M(x)B(x)+R(x)(1)式中:I(x)表示含雨滴的待恢复图像;B(x)表示不含雨滴的干净背景图像,也就是监督网络训练时的正确标签;M(x)表示一组二进制掩码。M(x)=1时表示在像素点 x 的位置上包含雨滴区域,M(x)=0 则表示该点位置为清晰背景区域;R(x)表示背景图像与雨滴所反射光线的复杂混合。图 1 单幅图像去雨滴任务Fig.1 The raindrop removal task of single image现有的去雨滴深度卷积神经网络普遍包含大量的常规
14、卷积操作。通常情况下,当网络中输入特征图为 X Rchw,其中 c 为输入通道数,h 和 w 分别为输入数据的高和宽时,如果希望生成 n 张输出特征图,则任意卷积层的计算可以被表示为:Y=Xf+b(2)式中:b 是偏置;YRhwn表示 n 通道的输出特征图;f Rckkn表示这一层的卷积核;h 和 w 分别为输出特征图的高和宽;k 表示卷积核的尺寸。经计算,上述卷积操作所需要的参数量为 nckk。可以看出,模型的参数量取决于输入和输出特征图的维度。而目前去雨滴神经网络每一层的卷积核数量 n 以及通道数 c 的值都较大,最常见的为 128 或者256 等6。这使得现有的去雨滴模型普遍具有大量的参
15、数量,导致巨大的计算消耗和内存占用。通过分析发现,现有去雨滴模型在卷积操作时会产生大量的特征图,而这些特征图的样式有很多类似之处,存在较高的冗余性。为了减少模型的参数量,可考虑不再使用传统卷积方式来逐一生成大量相似的特征图,而是设计轻量级去雨滴网络,通过对一部分已经生成的特征图进行特定的通道变换,直接完成一种图到图之间的线性映射,由此较好地解决现有去雨滴网络模型特征图存在高相似性和冗余性特征的问题,从根本上减少模型的参数量。但是,存在的问题是会导致模型的性能有所下降,为此需要通过进一步的模型改进以保证轻量级模型能够接近目前深度模型的性能,满足实际应用的部署需求。2 轻量级单幅图像去雨滴模型构建
16、 本文设计了一种端到端的轻量级单幅图像去雨滴模型,整体网络结构如图2 所示。网络的核心结构由 3部分构成:1)幻像特征生成残差块;2)复合折叠式重用机制;3)轻量级门控循环单元。其中,幻像特征生成残差块用于减少模型的参数量,而复合折叠式重用机制和轻量级门控循环单元用于提高模型的性能。392哈 尔 滨 工 程 大 学 学 报第 44 卷图 2 轻量级单幅图像去雨滴模型Fig.2 The lightweight model for single image raindrop removal2.1 幻像特征生成残差块 幻像特征生成残差块是本文实现轻量级去雨滴网络的核心轻量级组件,包括 3 部分结构:1)幻像特征生成模块;2)SE 注意力机制12;3)残差支路13,如图 3 所示。其中,幻像特征生成模块在模块内部对一部分已经生成的特征图进行特定的通道变换,以线性操作代替传统卷积操作。SE 注意力机制可以为幻像特征生成模块中的独立通道赋予不同的权重因子,很好地拟合通道之间复杂的空间相关性。而残差支路又能够改善模块中信息的流通,一定程度上降低了在反向传播时模型发生梯度消失的概率。幻像特征生成模块是
