ImageVerifierCode 换一换
格式:PDF , 页数:8 ,大小:1.89MB ,
资源ID:2253974      下载积分:10 积分
快捷下载
登录下载
邮箱/手机:
温馨提示:
快捷下载时,用户名和密码都是您填写的邮箱或者手机号,方便查询和重复下载(系统自动生成)。 如填写123,账号就是123,密码也是123。
特别说明:
请自助下载,系统不会自动发送文件的哦; 如果您已付费,想二次下载,请登录后访问:我的下载记录
支付方式: 支付宝扫码支付 微信扫码支付   
验证码:   换一换

加入VIP,免费下载
 

温馨提示:由于个人手机设置不同,如果发现不能下载,请复制以下地址【https://www.wnwk.com/docdown/2253974.html】到电脑端继续下载(重复下载不扣费)。

已注册用户请登录:
账号:
密码:
验证码:   换一换
  忘记密码?
三方登录: QQ登录  

下载须知

1: 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。
2: 试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓。
3: 文件的所有权益归上传用户所有。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 本站仅提供交流平台,并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

版权提示 | 免责声明

本文(基于轻量级神经网络的单幅图像去雨滴模型_陈峥.pdf)为本站会员(哎呦****中)主动上传,蜗牛文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知蜗牛文库(发送邮件至admin@wnwk.com或直接QQ联系客服),我们立即给予删除!

基于轻量级神经网络的单幅图像去雨滴模型_陈峥.pdf

1、第 44 卷第 2 期2023 年 2 月哈 尔 滨 工 程 大 学 学 报Journal of Harbin Engineering UniversityVol.44.2Feb.2023基于轻量级神经网络的单幅图像去雨滴模型陈峥1,毕晓君2(1.哈尔滨工程大学 信息与通信工程学院,黑龙江 哈尔滨 150001;2.中央民族大学 信息工程学院,北京 100081)摘 要:目前单幅图像去雨滴网络的特征图存在较高的相似性和冗余性,导致模型的参数量庞大,极大限制了其在实际应用中的部署。本文提出一种基于轻量级神经网络的单幅图像去雨滴模型。采用一种幻像特征生成残差块,用于解决网络中特征图的相似性和冗余性

2、问题。设计了一种复合折叠式重用机制,有效改善了由于参数减少带来的模型性能下降。提出一种轻量级门控循环单元,用于强化折叠式去雨滴架构中的深度特征交互,进一步提高了模型的性能。实验结果表明:本文提出的轻量级去雨滴模型在性能持平或略高于目前 3 种算法的前提下,分别实现了模型参数量的 18、37 及 51 倍的压缩,较好解决了在实际应用中的部署问题。关键词:单幅图像去雨滴;轻量级网络;幻像特征生成;深度学习;循环神经网络;门控循环单元;特征融合;特征交互DOI:10.11990/jheu.202207013网络出版地址:https:/ 文献标志码:A 文章编号:1006-7043(2023)02-0

3、292-08A single image raindrop removal model based on lightweight neural networkCHEN Zheng1,BI Xiaojun2(1.College of Information and Communication Engineering,Harbin Engineering University,Harbin 150001,China;2.School of In-formation Engineering,Minzu University of China,Beijing 100081,China)Abstract

4、:At present,the feature maps in the single image raindrop removal network have high similarity and redun-dancy,resulting in a huge number of parameters of the existing models.It greatly limits the deployment in practical applications.To this end,this paper proposes a single image raindrop removal mo

5、del based on lightweight neural net-work.The model employs a ghost feature generation residual block to solve the similarity and redundancy of feature maps in the network.A composite foldable reusing mechanism is designed to effectively improve the models perform-ance degradation caused by parameter

6、 reduction.A lightweight gated recurrent unit is introduced to enhance the in-teraction of deep features in the folded raindrop removal architecture,which further improves performance of the mod-el.The experimental results show that the proposed lightweight raindrop removal model respectively achiev

7、es 18-,37-,and 51-times the compression of parameters,whose performance is equal to or slightly higher than that of the current three state-of-the-art algorithms.It better solves the deployment problem in practical applications.Keywords:single image raindrop removal;lightweight network;ghost feature

8、 generation;deep learning;recurrent neural network;gated recurrent unit;feature fusion;feature interaction收稿日期:2022-07-06.网络出版日期:2022-11-04.基金项目:国家社会科学基金重大项目(20&ZD279).作者简介:陈峥,男,博士研究生;毕晓君,女,教授,博士生导师.通信作者:毕晓君,E-mail:bixiaojun .下雨是最为常见的自然现象之一。下雨时不同大小形状的雨滴往往会附着在玻璃窗或相机镜头上,导致一些户外智能设备所采集到的图像存在遮挡以及模糊的现象1。这

9、些不清晰的图像将直接影响各种后续的目标检测,语义分割和场景解析等计算机视觉任务。因此,近年来图像去雨滴任务受到学者们的广泛关注,成为研究热点1-9。目前去雨滴方法可以被大致归为 2 类:第 1 类是基于先验知识的传统算法1-2,第 2 类是基于神经网络的深度学习方法3-9。第 1 类方法通常需要手工设计或者估计雨滴的退化模型,并利用主观的先验知识进行建模。由于存在泛化能力差和计算时间多等缺点,近年来已逐渐被第 2 类方法所代替。Fu 等3提出搭建深度细节网络(DDN)直接学习有第 2 期陈峥,等:基于轻量级神经网络的单幅图像去雨滴模型雨图和干净背景之间的映射。将残差网络作为主要结构,以获得有雨

10、图深层的图像特征。尽管其过于单一的网络结构导致这种模型的性能有限,无法很好地处理下雨天的各种复杂场景,但是该模型的出现却引发了深度学习方法在图像去雨滴领域的研究热潮。特别是近两年,更多结构复杂且设计精巧的神经网络应运而生,去雨滴模型的性能有了很大的提高。具有代表性的有 Shao 等6提出了软掩码的新思路,用-1,1的值表示雨滴对背景图像的模糊程度,并构建一种多尺度金字塔网络来移除雨滴。该方法在模型的精度方面确实取得了非常优异的性能。然而,它的模型尺寸越来越大,推理速度也越来越慢。为了解决这一问题,Guo 等7又设计了一种快速高效的网络模型。该模型最重要的思想是把图像去雨问题看成图像的逐像素滤波

11、问题。由于滤波操作是高度优化的操作,因此该模型在 GPU 上的推理速度比较快,性能得到了很大提高。但是,该模型的部署和使用仍然需要较多的计算资源和内存消耗。而对于像无人机、自动驾驶汽车或者 AI 芯片这些存储空间十分受限的移动终端或者嵌入式设备而言,该模型的参数量仍无法满足实际应用的需求。因为一套成熟的图像处理系统需要配备多个不同任务的图像处理模型。去雨滴作为一种前端任务,如果能够在保证性能的前提下尽量地减少内存消耗,就会为其他更复杂的任务节省宝贵的存储资源,从而使整个系统实现更有效的运转。基于以上分析,本文提出一种基于轻量级神经网络的单幅图像去雨滴模型。首先,采用一种幻像特征生成残差块。通过

12、结合逐点卷积10、分组卷积11以及通道注意力机制12,解决现有去雨滴模型存在高相似性和高冗余性特征图的问题,从根本上减少参数量。然而,随着参数的大幅减少,去雨滴模型的性能必然会下降。为此,进一步设计了一种复合折叠式重用机制,分别在内部模块及网络整体结构对有限数量的特征进行回顾式利用,一定程度上弥补了参数较少带来的性能下降。最后,又提出一种轻量级门控循环单元。目的在于将轻量级去雨滴模型折叠计算前后的深层特征建立联系,强化信息的交互,进一步提高轻量级去雨滴模型的性能。1 单幅图像去雨滴任务 目前,单幅图像去雨滴已成为近年来图像处理领域的研究热点,其目的在于将被雨滴污染的模糊图像复原为清晰的干净背景

13、,从而降低对后续计算机视觉任务的不利影响,图 1 给出了去雨滴任务的示意图。雨滴图像的退化模型可以表示为:I(x)=(1-M(x)B(x)+R(x)(1)式中:I(x)表示含雨滴的待恢复图像;B(x)表示不含雨滴的干净背景图像,也就是监督网络训练时的正确标签;M(x)表示一组二进制掩码。M(x)=1时表示在像素点 x 的位置上包含雨滴区域,M(x)=0 则表示该点位置为清晰背景区域;R(x)表示背景图像与雨滴所反射光线的复杂混合。图 1 单幅图像去雨滴任务Fig.1 The raindrop removal task of single image现有的去雨滴深度卷积神经网络普遍包含大量的常规

14、卷积操作。通常情况下,当网络中输入特征图为 X Rchw,其中 c 为输入通道数,h 和 w 分别为输入数据的高和宽时,如果希望生成 n 张输出特征图,则任意卷积层的计算可以被表示为:Y=Xf+b(2)式中:b 是偏置;YRhwn表示 n 通道的输出特征图;f Rckkn表示这一层的卷积核;h 和 w 分别为输出特征图的高和宽;k 表示卷积核的尺寸。经计算,上述卷积操作所需要的参数量为 nckk。可以看出,模型的参数量取决于输入和输出特征图的维度。而目前去雨滴神经网络每一层的卷积核数量 n 以及通道数 c 的值都较大,最常见的为 128 或者256 等6。这使得现有的去雨滴模型普遍具有大量的参

15、数量,导致巨大的计算消耗和内存占用。通过分析发现,现有去雨滴模型在卷积操作时会产生大量的特征图,而这些特征图的样式有很多类似之处,存在较高的冗余性。为了减少模型的参数量,可考虑不再使用传统卷积方式来逐一生成大量相似的特征图,而是设计轻量级去雨滴网络,通过对一部分已经生成的特征图进行特定的通道变换,直接完成一种图到图之间的线性映射,由此较好地解决现有去雨滴网络模型特征图存在高相似性和冗余性特征的问题,从根本上减少模型的参数量。但是,存在的问题是会导致模型的性能有所下降,为此需要通过进一步的模型改进以保证轻量级模型能够接近目前深度模型的性能,满足实际应用的部署需求。2 轻量级单幅图像去雨滴模型构建

16、 本文设计了一种端到端的轻量级单幅图像去雨滴模型,整体网络结构如图2 所示。网络的核心结构由 3部分构成:1)幻像特征生成残差块;2)复合折叠式重用机制;3)轻量级门控循环单元。其中,幻像特征生成残差块用于减少模型的参数量,而复合折叠式重用机制和轻量级门控循环单元用于提高模型的性能。392哈 尔 滨 工 程 大 学 学 报第 44 卷图 2 轻量级单幅图像去雨滴模型Fig.2 The lightweight model for single image raindrop removal2.1 幻像特征生成残差块 幻像特征生成残差块是本文实现轻量级去雨滴网络的核心轻量级组件,包括 3 部分结构:1)幻像特征生成模块;2)SE 注意力机制12;3)残差支路13,如图 3 所示。其中,幻像特征生成模块在模块内部对一部分已经生成的特征图进行特定的通道变换,以线性操作代替传统卷积操作。SE 注意力机制可以为幻像特征生成模块中的独立通道赋予不同的权重因子,很好地拟合通道之间复杂的空间相关性。而残差支路又能够改善模块中信息的流通,一定程度上降低了在反向传播时模型发生梯度消失的概率。幻像特征生成模块是

copyright@ 2008-2023 wnwk.com网站版权所有

经营许可证编号:浙ICP备2024059924号-2