1、第5 7卷 第1期2 0 2 3年1月西 安 交 通 大 学 学 报J OUR NA LO FX IANJ I AO T ON GUN I V E R S I T YV o l.5 7 N o.1J a n.2 0 2 3.*采用对比学习的多阶段T r a n s f o r m e r图像去雾方法高峰1,2,汲胜昌1,郭洁1,侯杰3,欧阳超3,杨彪4(1.西安交通大学电气工程学院,7 1 0 0 4 9,西安;2.国网陕西省电力有限公司电力科学研究院,7 1 0 1 0 0,西安;3.哈尔滨工业大学(深圳)计算机科学与技术学院,5 1 8 0 5 5,广东深圳;4.哈尔滨工业大学(深圳)建筑
2、学院,5 1 8 0 5 5,广东深圳)摘要:为了解决现有图像去雾方法在图像局部去雾以及纹理细节恢复等方面始终不理想以及处理非均匀雾质始终不彻底的问题,提出了一种采用对比学习的多阶段自注意力模块(T r a n s f o r m e r)的图像去雾M S T C N e t方法。首先,利用信道级T r a n s f o r m e r模块作为基本的特征提取模块,充分地捕获特征信道之间的长距离依赖关系;其次,通过提出的多监督对比学习方法最大限度地挖掘正负样本信息,使去雾图像在投影后的隐空间中更靠近清晰图像,同时远离有雾图像;最后,利用多阶段渐进式网络结构和可变形自注意力机制有效地整合图像局部
3、细粒度特征和全局粗粒度信息。本文在2个合成数据集和3个真实数据集上对所提出的方法进行了大量的实验,结果表明:所提出的M S T C N e t方法在5个数据集上的峰值信噪比(P S N R)分别提高了1.4 9、1.4 5、0.1 1、1.4 5和0.2 2d B,在通用数据集与非数据集的测试中均超越已有的方法,在浓雾质、非均匀雾质以及均匀雾质的测试中均表现出最佳的去雾视觉效果,并达到最高的客观评价指标值。关键词:图像去雾;对比学习;自注意力;渐进式网络中图分类号:T P 3 9 1 文献标志码:AD O I:1 0.7 6 5 2/x j t u x b 2 0 2 3 0 1 0 1 9
4、文章编号:0 2 5 3-9 8 7 X(2 0 2 3)0 1-0 1 9 5-1 6A M u l t i-S t a g eT r a n s f o r m e rN e t w o r kf o r I m a g eD e h a z i n gB a s e do nC o n t r a s t i v eL e a r n i n gGAOF e n g1,2,J IS h e n g c h a n g1,GUOJ i e1,HOUJ i e3,OUYANGC h a o3,YANGB i a o4(1.S c h o o l o fE l e c t r i c a lE
5、 n g i n e e r i n g,X ia nJ i a o t o n gU n i v e r s i t y,X ia n7 1 0 0 4 9,C h i n a;2.E l e c t r i cP o w e rR e s e a r c hI n s t i t u t e,S t a t eG r i dS h a a n x iE l e c t r i cP o w e rC o m p a n yL i m i t e d,X ia n7 1 0 1 0 0,C h i n a;3.S c h o o l o fC o m p u t e rS c i e n c
6、 e,H a r b i nI n s t i t u t eo fT e c h n o l o g y(S h e n z h e n),S h e n z h e n,G u a n g d o n g5 1 8 0 5 5,C h i n a;4.S c h o o l o fA r c h i t e c t u r e,H a r b i nI n s t i t u t eo fT e c h n o l o g y(S h e n z h e n),S h e n z h e n,G u a n g d o n g5 1 8 0 5 5,C h i n a)A b s t r
7、a c t:A m u l t i-s t a g eT r a n s f o r m e rn e t w o r k f o r i m a g ed e h a z i n gb a s e do nc o n t r a s t i v e l e a r n i n g i sp r o p o s e dt os o l v e t h ep r o b l e mt h a t e x i s t i n g i m a g ed e h a z i n gm e t h o d s f a i l t oa c h i e v e t h ed e s i r e dr e-
8、s u l t s i nl o c a l i m a g ed e h a z i n ga n dd e t a i l r e s t o r a t i o n,a n dt h en o n-h o m o g e n e o u sh a z ec a n n o tb e r e-m o v e dc o m p l e t e l ya l l t h ew a y.F i r s t,t h e c h a n n e l-w i s eT r a n s f o r m e rb l o c k i su t i l i z e da s t h ep r i m a-r
9、 yf e a t u r e e x t r a c t i o nb l o c k t oa d e q u a t e l yc a p t u r e t h em u t u a l l o n g-r a n g ed e p e n d e n c i e s a m o n gc h a n-n e l s.S e c o n d,t h em u l t i-m o d a l i t ys u p e r v i s e dc o n t r a s t i v el e a r n i n gi si n t r o d u c e dt om a x i m i z
10、et h e*收稿日期:2 0 2 2-0 6-1 5。作者简介:高峰(1 9 8 4),男,博士生;杨彪(通信作者),男,副教授,博士生导师。基金项目:国家自然科学 基金 资助 项 目(5 2 0 7 8 1 6 1);陕 西 电 网 重 要 输 电 通 道 抵 御 外 部 风 险 的 监 测 和 预 警 新 技 术 研 究 资 助 项 目(5 2 2 6 S X 2 1 0 0 2 Q)。网络出版时间:2 0 2 2-0 9-1 7 网络出版地址:h t t p s:/k n s.c n k i.n e t/k c m s/d e t a i l/6 1.1 0 6 9.T.2 0 2 2
11、 0 9 1 6.1 6 2 6.0 0 4.h t m l西 安 交 通 大 学 学 报第5 7卷 h t t p:z k x b.x j t u.e d u.c n c a p t u r i n ge f f i c i e n c yo f i n f o r m a t i o nf r o mt h ec o n t r a s t i v es a m p l e s,s ot h a tt h er e s t o r e di m a g ei sc l o s e r t ot h ec l e a r i m a g e i n t h e e m b e d d i n
12、 gs p a c ew h i l e s t a y i n ga s f a r a w a y f r o mt h eh a z y i m a g e a sp o s s i b l e.F i n a l l y,ah i e r a r c h i c a lm u l t i-p a t c hs t r u c t u r e a n dd e f o r m a b l eT r a n s f o r m e rb l o c k s a r e e m-p l o y e dt oe f f e c t i v e l y i n t e g r a t e t h
13、 e l o c a l a n dg l o b a l s t r u c t u r a l i n f o r m a t i o no f t h eh a z y i m a g e.M o-r e o v e r,a l a r g en u m b e ro f t e s t sh a v eb e e nc o n d u c t e do nt h ep r o p o s e dm e t h o db yu s i n gt w os y n-t h e t i cd a t as e t sa n dt h et h r e er e a ld a t as e t
14、 s.T h er e s u l t ss h o wt h a tt h ep r o p o s e d M S T C N e ta-c h i e v e sah i g h e rp e a ks i g n a l-t o-n o i s er a t i o(P S N R)g a i no f 1.4 9,1.4 5,0.1 1,1.4 5a n d0.2 2d Bo nf i v ed a t a s e t s,r e s p e c t i v e l y.I t o u t p e r f o r m s e x i s t i n gm e t h o d s i
15、nb o t hg e n e r a l a n dn o n-d a t a s e t s,s h o w s t h eb e s tv i s u a le f f e c to fd e h a z i n gi nr e m o v i n gt h ed e n s e,n o n-h o m o g e n e o u sa n du n i f o r mh a z e,a n da c h i e v e s t h eh i g h e s to b j e c t i v ee v a l u a t i o n i n d e xv a l u e.K e y w
16、o r d s:i m a g ed e h a z i n g;c o n t r a s t i v e l e a r n i n g;T r a n s f o r m e r;m u l t i-p a t c hs t r u c t u r e 雾霾作为一种常见的大气现象,显著降低了物体的可见度和对比度,导致观察到的物体出现模糊、颜色失真等视觉质量退化的现象。雾霾天气不仅直接对人类的视觉感知产生了严重的影响,也对众多高级计算机视觉系统构成挑战,例如物体检测和语义分割,这些系统会因为低质量的输入图像而导致系统性能的降低1。因此,在将有雾的模糊图像送入到高级计算机视觉系统之前,对其进行去雾的预处理操作是非常必要的。近年来,图像去雾作为一项典型的底层视觉任务,得到了研究人员越来越多的关注。早期提出的一些图像去雾方法大多是基于典型的大气散射模型2,该模型定义为I(x)=J(x)t(x)+A(1-t(x)(1)式中:x表示像素点;I(x)表示观察到的雾霾场景;J(x)表示去雾场景;A表示全局大气光强;t(x)表示介质传输函数,也称作透射率,它可以进一步表示为t(x)=e-d(x),