1、基于多重引导滤波的单幅图像去雾算法高雅昆,张雷,吴超,胡永涛,陈慧波(河南工学院 电气工程与自动化学院,河南 新乡 )摘要:雾天拍摄到的图像往往存在颜色、细节信息丢失和对比度降低等问题,这对户外视觉任务如目标检测、识别、分割等带来非常大的挑战.提出一种基于多重引导滤波的单幅图像去雾算法.算法首先利用灰度限制G a mm a变换获得一幅低亮度去雾基底图像;其次,利用多重引导滤波获得细节图像;再次,将去雾基底图像和细节层图像求和获得低亮度的去雾结果;最后,通过亮度调整提升低亮度去雾图像亮度,得到最终去雾结果.对比实验验证了该算法能够有效去除雾影响提升图像质量.关键词:图像去雾;限制灰度G a mm
2、 a变换;多重引导滤波;细节层中图分类号:T P 文献标识码:A 文章编号:()引言雾天拍摄到的图像往往面临颜色、细节信息丢失、对比度降低等问题,这对户外视觉任务如目标检测、识别、分割等带来非常大的挑战.如何有效去除图像中的雾成为图像与视觉领域的研究热点.目前主流的图像去雾算法主要针对的是单幅图像,主要分为两大类:基于人工先验的去雾方法和基于深度学习的去雾方法.基于人工先验的去雾方法包括大气光的估计、透射率图求取和无雾图像求取三个环节,利用基于无雾图像统计的人工先验估计透射率图,然后使用大气散射模型恢复无雾结果.T a n等人认为雾的存在降低了图像对比度,因此可通过局部对比度最大化来增强模糊图
3、像的可见性.何等人提出了暗通道先验(D a r kC h a n n e lP r i o r,D C P)来计算透射率图.李等人改进了暗通道先验算法并成功应用于航拍图像去雾.F a t t a l发现图像块的像素通常呈现一维分布,所以引入了色线一致性先验进行去雾.Z h u等人采用了彩色衰减先验,开发了一种有监督学习的图像去雾方法.基于人工先验的方法需要人为凭经验统计大量的有雾或无雾图像的一般共有先验特征,先验特征发现严重依赖于特征设计者的专业素质水平及经验,然而即使如此,人工先验特征也不能完美适用所有雾天情况.随着深度学习中卷积神经网络(c o n v o l u t i o n a ln
4、 e u r a ln e t w o r k,C NN)、生成对抗网络(G e n e r a t i v eA d v e r s a r i a lN e t w o r k,GAN)等结构的发展,基于深度学习的去雾方法取得了显著的进展.基于深度学习的去雾方法大致可以分为两类:依赖大气光散射模型(A t m o s p h e r i cS c a t t e r i n g M o d e l,A S M)的去雾 方 法 和 不 依 赖A S M的 去 雾 方 法.在 依 赖A S M方法中,C a i等人只使用深度神经网络估计透射率,并使用先验假设估计大气光,同时用L 损失来监督训练
5、,严格来说,这种方法不是端到端的去雾模 型.R e n等 人提 出 多 尺 度 卷 积 神 经 网 络(M u l t i S c a l e C o n v o l u t i o n a l N e u r a l N e t w o r k s,M S C NN),并实现了端到端的训练.Z h a n g等人开发了稠密连接的金字塔去雾网络,同步学习透射率图、大气光和无雾图像,并捕捉它们之间的相互关系.P ANG等人利用生成对抗网络来联合估计透射率图、大气光 和 无 雾 图 像,以 消 除 雾.L i等人 提出的AO D N e t(A l l i n O n eD e h a z i n
6、 gN e t w o r k)将大气散射模型重新分解,以绕过透射率图和大气光强度的估计,从而简化了网络模型结构.不依赖A S M类型的方法试图以不求取A S M中的第 卷第期 年月河南工学院学报J o u r n a l o fH e n a nI n s t i t u t eo fT e c h n o l o g yV o l N o M a y 收稿日期:基金项目:河南省高等学校重点科研项目(B );河南工学院高层次人才科研启动基金(KQ ,KQ )第一作者简介:高雅昆(),男,河北唐山人,讲师,博士,主要从事图像处理、计算机视觉研究.大气光和透射率的方式直接实现图像去雾.R e n
7、等人 发现了两种影响去雾过程的现象:()在大气光的影响下,图像的颜色有时会失真;()场景的能见度由于散射和衰减而降低.基于这两种观测结果,他们提出了融合白平衡、对比度增强和伽玛校正三种输入的门控融合网络(G a t e dF u s i o nN e t w o r k,G F N)来进行雾的去除.Q i n等人 提出的特征融合注意力网络(F e a t u r eF u s i o nA t t e n t i o nN e t w o r k,F F A N e t)将注意力机制引入图像去雾方法,并设计了一个包括通道注意力和像素注意力的特征注意模块.L i u等 人 提 出 的 网 格 去
8、 雾 网 络(G r i d D e h a z e N e t)则是由预处理模块、主干模块和后处理模块三个模块组成的端到端可训练C NN图像去雾网络.F F A N e t、G r i d D e h a z e N e t以 及N L C A(N o n L o c a lC h a n n e lA t t e n t i o n)三种方法的提出,证明了注意力机制在特征提取和图像恢复过程中具有可靠的能力,为不使用A S M的去雾研究带来了一种有效的策略.H o n g等人 提出的知识蒸馏去雾网 络(K n o w l e d g e D i s t i l l i n g D e h a
9、 z i n g N e t w o r k,K D D N)研究了知识从教师网络向学生网络迁移的过程,首次将知识蒸馏技术应用于图像去雾,弥合了图像去雾和知识蒸馏之间的鸿沟.虽然监督去雾算法已具有很好的性能,但它们高度依赖于成对的数据.实际情况要获得完全匹配对应的有雾、无雾图像困难较大,无疑增加了算法设计的人工成本;而无监督去雾方法更适用于真实世界的去雾任务,能够有效降低数据采集成本.为了摆脱对成对数 据 的 依 赖,E n g i n等 人、Z h a o等人、L i u等人 以及A n v a r i等人 相继提出了依靠循环生成对抗网络方法,以对抗学习的方式来合成雾天图像并进行去雾模型的训
10、练.上述GAN类方法虽然训练时不需要真实无雾图像做监督,但往往需要用无雾图像来合成有雾图像后再训练去雾网络,而L i等人先后提出的Z I D(Z e r o s h o tI m a g eD e h a z i n g)和YO L Y(Y o u O n l y L o o k Y o u r s e l f)等方法则真正摆脱了对真实无雾图像的依赖.不管是有监督还是无监督网络都面临的问题是模型的泛化能力不强,作为数据驱动的方式训练的模型往往都只适用于单一或有限的几个场景,想要达到好的效果需要针对不同场景重新训练新的参数,这无疑增加了设计人员的工作量.基于上述分析,本文提出一种基于多重引导滤波
11、的非深度学习单幅图像去雾算法对雾天图像进行去雾.本文算法流程结构见图.图基于多重引导滤波的单幅图像去雾算法流程图本文提出的算法介绍雾天图像主要面临的降质有细节丢失,对比度降低,同时有雾图像相比于无雾图像整体的图像亮度值偏白(无雾图像应当比有雾图像亮度低).基于以上先验知识,基于多重引导滤波的单幅图像去雾算法思路是:首先要有效降低图像的亮度,尤其是浓雾区域的亮度;其次要增强图像的细节;最后就是保证去雾后的图像在视觉效果尤其是亮度方面与原始降质图像无明显区别.基于灰度限制G a mm a变换的去雾基底图像生成去雾领域有个公用的假设或者也可以说是先验:有雾图像相比于无雾图像整体的图像亮度值偏白(无雾
12、图像应当比有雾图像亮度低).所以我们首先利用G a mm a变换来生成一幅亮度值有效降低的图像,并认为该低照度图像上已经将大部分的雾去除了.基于G a mm a变换的去雾基底图像生成计算河南工学院学报 年第期公式().GLb a s e(x)p o w e r(m i n(I(x),),)()式中,I代表原始降质图像;GLb a s e代表G a mm a变化后的低亮度去雾基底图像;x代表每个像素点;m i n代表最小运算,加上该运算的目的是防止天空的区域亮度降低后颜色饱和度失真;p o w e r为幂函数,其中m i n(I(x),)为底,为高亮度截断值,为幂次(G a mm a变化当幂次小
13、于时可以有效增加低亮度像素的灰度值,当幂次值大于时则可以有效降低高亮度像素灰度值,所以幂次设置为大于的值).图展示了灰度限制G a mm a变换的去雾基底图像获取结果.图去雾基底图像结果 基于多重引导滤波的细节图像生成经过 节处理得到了去除了雾的基底图像,本节的多重引导滤波处理主要是为了获得细节图像,以此来复原由于雾的存在而丢失的细节信息.引导滤波是由何凯明 提出,是一种性能十分有益的边缘保持滤波器,其在模糊图像的同时能够较好地保持住图像的主要边缘结构信息.鉴于此,我们采用引导滤波来进行图像平滑,并且其中细节图像的获取主要利用将原始图像与多次引导滤波后的滤波图像进行相减而得到,整个过程可以参看
14、图.细节图像的计算公式为公式().Gd e t a i lNi(IIig u i d e)()式中,I为原始图像;Gd e t a i l为获得的细节图像;Iig u i d e为经过引导滤波的图像;i为对应的引导滤波次数,其中第i的滤波输入图像为第i次的滤波结果.通过原图与不同引导滤波次数的图像相减可以获得不同尺度的细节特征.N代表多重滤波的总次数,N值的大小由公式()来决定.Nr o u n d(p o w e r(eIm e a ng r a y,)()式中,Im e a ng r a y为原始灰度图像均值,e为指数运算,p o w e r为幂函数,r o u n d为取整运算.图展示了
15、细节图像获取结果.低亮度去雾图像生成在获得去雾基底图像与细节图像后,接下来就图细节图像结果是如何将二者融合以获得去雾图像,本文中我们采用了加法操作.具体计算见公式().GLd e h a z eGLb a s eGd e t a i l()式中,Gd e t a i l为公式()中的细节图像;GLb a s e为公式()中的去雾基底图像;GLd e h a z e为低亮度去雾图像;,为系数因子,用来调节两部分的大小.图展示了低亮度去雾图像获取结果.图低亮度去雾图像结果 最终去雾图像获取在获得低亮度去雾图像后,虽然很大程度上对雾进行了去除,但图像整体亮度却较低,为了达到较好的视觉效果,我们将低亮
16、度去雾图像与原始图像的亮度值进行比较,并利用对数变化来对图像整体亮度值进行修正,具体见公式().Gf i n a lCGLd e h a z eCl o g(a l p h aI)l o g(GLd e h a z e)a l p h aIm e a ng r a y/Gm e a ng r a y()式中,Gf i n a l为最终去雾结果图像;I为原始图像;GLd e h a z e为 节中的低亮度去雾图像;l o g为对数运算,a l p h a为亮度调节系数,其值越大,亮度提升后的去雾图像亮度值越高,最终是通过求取原始灰度图像均值Im e a ng r a y与低亮度灰度去 雾图像均值
17、Gm e a ng r a y的比值得到;C为亮度调整系数;表示按元素相乘.图展示了最终去雾图像获取结果.图最终去雾图像结果高雅昆,等:基于多重引导滤波的单幅图像去雾算法实验测试 实验设置本文 采 用 的 实 验 环 境 为:W i n d o w s 系 统,AMDR GC P U,g内存.测试图像包括行业内常用的真实场景图像与合成场景图像两大类.实验参数设置见表.整个过程为了提升算法的运行效率,对于较大尺寸图像,可以先进行下采样或变化尺寸操作来降低图像分辨率,之后再进行去雾操作,最后还要通过上采样得到原尺寸大小的去雾结果.下采样操作位置可见图中的黑色虚线框标记.表不同方法读数对比结果参数设
18、定值 主观质量评价当前对于去雾算法性能的优劣评价主要有主观质量评价和客观质量评价两种评价方法,主观质量评价方面主要是将不同去雾算法对相同图像处理得到处理结果后对处理结果在直观视觉感受方面的评价.主观评价能够在一定程度上反映处理算法的性能优劣.图为本文算法 与H e、AO D n e t、M e n g 的主观比较结果,五行图片从上到下依次是原 图、H e去 雾 结 果 图、AO D n e t去 雾 结 果 图、M e n g去雾结果图和本文方法去雾结果图,六幅图像从左到右分别为远景、树林、天安门、玩具、山谷、游客.可以看出在游客与山谷图像上,与本文算法相比,另外三种方法的去雾结果明显颜色过饱
19、和;H e方法与M e n g方法天安门图像天空区域颜色失真较为明显;AO D n e t对树林、远景两幅图像去雾作用较为微弱;将图像放大后可以发现所有去雾结果中本文方法的图像细节更为丰富,图像整体的清晰度更高.主观评价可以证明本文算法的优越性.图不同算法去雾结果主观对比图 客观质量评价为了证明本文方法的有效性,除了主观评价外还需要客观评价.常用的客观评价指标有P S N R(P e a k S i g n a lt o N o i s e R a t i o)、S S I M(S t r u c t u r a lS i m i l a r i t y).其中P S N R被称为峰值信噪比,
20、作为有参考评价指标,正常评估时有无雾标准参考图像和去雾后的待评估图像,待评估图像的P S N R值越高说明图像的质量越高(去雾结果与标准无雾图像越接近).实际使用时由于没有标准无雾图做参考,而是用原始有雾降质图像做参考,所以P S N R值应越小越好.S S I M是衡量两幅图像相似度的指标,其取值范围为,计算时需要一幅参考图像,如果参考图像为真实无雾图像,S S I M的值越大,表示图像失真程度越小,说明图像质量越好,但是由于没有真实无雾图像,参考图像实际选取的是有雾降质图像,所以此时也应是S S I M值越小越好.四种去雾方法的客观评价指标值见表.从表可以看出,在四种方法中,本文方法的多项
21、评价指标值均达到了最优性能值(其中最优值用红色标河南工学院学报 年第期识),这说明客观评价指标上本文方法也要优于另外三种方法.综合主客观评价指标可知本文算法优于另外三种方法.表不同方法去雾客观评价对比结果方法远景树林天安门玩具山谷游客P S N RS S I MP S N RS S I MP S N RS S I MP S N RS S I MP S N RS S I MP S N RS S I MH e A O D n e t M e n g 本文 结论本文提出了一种基于多重引导滤波的单幅图像去雾算法.将图像去雾任务分成去雾基底图像获取、细节图像获取、低亮度去雾结果获取与最终去雾图像获取四个
22、步骤,利用灰度限制G a mm a变换来计算得到去雾基底图像,利用多重引导滤波来计算得到细节图像,利用加权求和来计算得到低亮度去雾图像,利用对数变换计算亮度提升系数来得到最终去雾结果.通过对比实验,验证了所提去雾算法的有效性与优越性.(责任编辑王磊)参考文献:T ANRTV i s i b i l i t yi nb a dw e a t h e r f r o mas i n g l e i m a g eC I E E EC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o
23、 n,J u n e ,A n c h o r a g e,AK,U S AN e w Y o r k:I E E E,:HEK,S UNJ,T AN GX S i n g l e i m a g eh a z e r e m o v a l u s i n gd a r kc h a n n e lp r i o rJ I E E E T r a n s a c t i o n so nP a t t e r nA n a l y s i sa n dM a c h i n e I n t e l l i g e n c e,():李力,唐晓霏,刘雯,等航拍图像暗通道先验去雾算法速度改进J吉
24、林大学学报(理学版),():F A T T A LR D e h a z i n gu s i n gc o l o r l i n e sJ A CM T r a n s a c t i o n so nG r a p h i c s(T O G),():Z HUQ,MA I J,S HA OL Af a s t s i n g l e i m a g eh a z e r e m o v a l a l g o r i t h mu s i n gc o l o r a t t e n u a t i o np r i o rJ I E E ET r a n s a c t i o n s
25、o nI m a g eP r o c e s s i n g,():C A IB,XUX,J I AK,e t a l D e h a z e n e t:A ne n d t o e n ds y s t e mf o r s i n g l e i m a g eh a z er e m o v a lJ I E E ET r a n s a c t i o n so nI m a g eP r o c e s s i n g,():R E N W,P ANJ,Z HAN GC A OH,e t a l S i n g l e i m a g e d e h a z i n gv i a
26、m u l t i s c a l ec o n v o l u t i o n a l n e u r a l n e t w o r k sw i t hh o l i s t i ce d g e sJ I n t e r n a t i o n a l J o u r n a l o fC o m p u t e rV i s i o n,:Z HAN G H,P A T E LV,M D e n s e l yc o n n e c t e dp y r a m i dd e h a z i n gn e t w o r kC I E E E C o n f e r e n c eo
27、 nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n J u n e ,S a l tL a k eC i t y,UT,U S AN e wY o r k:I E E E,:P AN GY,X I EJ,L IX V i s u a l h a z e r e m o v a l b yau n i f i e dg e n e r a t i v e a d v e r s a r i a l n e t w o r kJ I E E ET r a n s a c t i o n s o nC i r c u
28、 i t s a n dS y s t e m s f o rV i d e oT e c h n o l o g y ,():L IB,P E NGX,WAN GZ,e t a l A o d n e t:A l l i n o n e d e h a z i n gn e t w o r kCI E E EI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e rV i s i o n O c t o b e r ,V e n i c e,I t a l y N e w Y o r k:I E E E,:R E N W,MA
29、L,Z HAN GJ,e ta l G a t e df u s i o nn e t w o r kf o rs i n g l e i m a g ed e h a z i n gCI E E EC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n J u n e ,S a l tL a k eC i t y,UT,U S AN e wY o r k:I E E E,:Q I NX,WAN GZ,B AY,e t a l F f a n e t:F e a t u r
30、e f u s i o na t t e n t i o nn e t w o r kf o r s i n g l e i m a g ed e h a z i n gC AAA IC o n f e r e n c eo n A r t i f i c i a lI n t e l l i g e n c e,F e b r u a r y ,N e w Y o r k,U S AN e wY o r k:AAA I,:L I UX,MAY,S H IZ,e t a l G r i d d e h a z e n e t:A t t e n t i o n b a s e dm u l t
31、 i s c a l en e t w o r k f o r i m a g e d e h a z i n gCI E E EI n t e r n a t i o n a lC o n f e r e n c eo n C o m p u t e r V i s i o n,O c t o b e r N o v e m b e r,S e o u l,K o r e a(S o u t h)N e w Y o r k:I E E E,:ME TWA L YK,L IX,GUOT,e t a l N o n l o c a l c h a n n e l a t t e n t i o
32、n f o r n o n h o m o g e n e o u s i m a g ed e h a z i n gCI E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n J u n e ,S e a t t l e,WA,U S AN e w Y o r k:I E E E,:HON G M,X I EY,L IC,e t a l D i s t i l l i n g i m a g ed e h a z i n gw i t hh e t
33、 e r o g e n e o u st a s ki m i t a t i o nC I E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n J u n e ,S e a t t l e,WA,U S AN e wY o r k:I E E E,:E NG I N D,G E N C A,K EMA LE K E N E L HC y c l e d e h a z e:E n h a n c e dc y c l e g a nf o rs
34、i n g l ei m a g ed e h a z i n gC I E E EC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n J u n e ,S a l tL a k eC i t y,UT,U S A N e wY o r k:I E E E,:Z HA OJ,Z HAN GJ,L IZ,e ta l D D C y c l e GAN:U n p a i r e di m a g ed e h a z i n gv i ad o u b l ed i s
35、c r i m i n a t o rc y c l ec o n s i s t e n tg e n e r a t i v e a d v e r s a r i a lN e t w o r kJ E n g i n e e r i n gA p p l i c a t i o n so fA r t i f i c i a l I n t e l l i g e n c e,():L I U W,HOUX,D UANJ,e t a l E n d t o e n ds i n g l e i m a g e f o gr e m o v a lu s i n ge n h a n c
36、 e dc y c l ec o n s i s t e n ta d v e r s a r i a ln e t w o r k sJ I E E ET r a n s a c t i o n so nI m a g eP r o c e s s i n g,:ANVA R IZ,A TH I T S O SV D e h a z eG L C GAN:U n p a i r e ds i n 高雅昆,等:基于多重引导滤波的单幅图像去雾算法g l e i m a g ed e h a z i n gv i aa d v e r s a r i a l t r a i n i n gJ A
37、r X i vp r e p r i n t A r X i v:,L IB,G OUY,L I UJZ,e ta l Z e r o s h o t i m a g ed e h a z i n gJI E E ET r a n s a c t i o n so nI m a g eP r o c e s s i n g ,:L IB,G OUY,GUS,e t a l Y o uo n l y l o o ky o u r s e l f:U n s u p e r v i s e da n du n t r a i n e ds i n g l ei m a g ed e h a z i
38、 n gn e u r a ln e t w o r kJI n t e r n a t i o n a l J o u r n a l o fC o m p u t e rV i s i o n,():HEK,S UNJ,T AN G XG u i d e di m a g ef i l t e r i n gJ I E E ET r a n s a c t i o n so n P a t t e r n A n a l y s i sa n d M a c h i n eI n t e l l i g e n c e,():ME N GG,WAN GY,D UANJ,e ta l E f
39、 f i c i e n t i m a g ed e h a z i n gw i t hb o u n d a r yc o n s t r a i n t a n dc o n t e x t u a l r e g u l a r i z a t i o nCI E E EC o n f e r e n c eo nC o m p u t e rV i s i o n,D e c e m b e r ,S y d n e y,A u s t r a l i a N e wY o r k:I E E E,:S i n g l e I m a g eD e h a z i n gA l g
40、 o r i t h mB a s e do nM u l t i p l eG u i d e dF i l t e r i n gGAOY a k u n,Z HAN GL e i,WUC h a o,HUY o n g t a o,CHE N H u i b o(S c h o o l o fE l e c t r i c a lE n g i n e e r i n ga n dA u t o m a t i o n,H e n a nI n s t i t u t eo fT e c h n o l o g y,X i n x i a n g ,C h i n a)A b s t r
41、 a c t:I m a g e sc a p t u r e di nf o g g yd a y so f t e nf a c ep r o b l e m ss u c ha sc o l o rl o s s,d e t a i l i n f o r m a t i o nl o s s,c o n t r a s t r e d u c t i o n,w h i c hb r i n g sg r e a tc h a l l e n g e st oo u t d o o rv i s u a l t a s k ss u c ha st a r g e td e t e c
42、 t i o n,r e c o g n i t i o n,s e g m e n t a t i o n,e t c As i n g l ei m a g ed e h a z i n ga l g o r i t h mb a s e do nm u l t i p l eg u i d e df i l t e r i n gi sp r o p o s e d F i r s t l y,ad e h a z i n gb a s e i m a g e i so b t a i n e db yu s i n gg r a y l i m i t e dG a mm at r a
43、 n s f o r m S e c o n d l y,m u l t i g u i d e df i l t e r i n g i su s e dt oo b t a i nd e t a i l e di m a g e s T h i r d l y,t h ed e h a z i n gb a s ei m a g ea n dt h ed e t a i ll a y e r i m a g ea r es u mm e dt og e t t h e l o wb r i g h t n e s sd e h a z i n gr e s u l t F i n a l
44、l y,t h eb r i g h t n e s so f l o w b r i g h t n e s sd e h a z i n gi m a g ei si m p r o v e db yb r i g h t n e s sa d j u s t m e n tt og e tt h ef i n a lr e s u l to fd e h a z i n g T h r o u g hc o m p a r a t i v ee x p e r i m e n t s,i t i sv e r i f i e dt h a t t h ep r o p o s e da l g o r i t h mc a ne f f e c t i v e l yr e m o v et h e i n f l u e n c eo fh a z ea n d i m p r o v e t h e i m a g eq u a l i t y K e yw o r d s:i m a g ed e h a z i n g;g r a y l i m i t e dG a mm a t r a n s f o r m;m u l t i p l eg u i d e df i l t e r i n g;d e t a i l l a y e r河南工学院学报 年第期
