1、1引言目前大多数交通监控、智能汽车、目标检测和其他系统都假定输入图像是清晰的，然而由于大气中烟雾和粉尘等悬浮颗粒物的存在，视觉系统通常会捕获能见度和对比度降低的图像。因此增强图像清晰度是一项必要的任务。目前，针对去雾的研究可分为三种：图像增强，图像复原和深度学习方法1。基于图像增强的方法忽略图像内在机理，直接消除多余的干扰信息，提高亮度和对比度，从而恢复出清晰图像。Land E H等2以色感一致性理论为基础提出Retinex，单尺度Retinex3能增强对比度和在动态范围大幅度压缩，多尺度Retinex4可提高色彩饱和度，实现局部动态范围压缩，但当雾分布不均匀时会产生光晕现象和色彩失真。直方图
2、均衡化是一种全局对比度增强方法，计算量较低。Pizer S M等5提出一种图像对比度增强方法，即限制对比自适应直方图均 衡 化(Contrast Limited Adaptive Histogram Equalization，CLAHE)，限制直方图以减弱噪声强度。Srinivasan S等6提出一种自适应局部区域伸展(Local Region Stretch，LRS)直方图均衡化，它在灰度区间对图像像素点均衡化。上述基于直方图的去雾方法会丢失边缘等细节信息，降低有用信息对比度导致对比度异常。Ancuti等7提出了基于融合的图像去雾方法，通过融合白平衡和增强对比度两个原始模糊图像实现，由于不考
3、虑雾霾物理模型，该方法在复原色彩等方面不够准确。基于图像复原的方法大多考虑大气散射物理模型8，去雾能力较图像增强方法有些许提高。He K等9提出一种暗通道先验(Dark Channel Prior，DCP)的方法进行去雾，根据大多数有雾图像的统计规律估计透射率，并由大气散射模型得出去雾图像，但在天空区域色彩失真。Pang J等10结合了暗通道先验和引导图像滤波方法进行单图像去雾，得到精细的透射图。Zhu Q等11提出了一种颜色衰减先验(Color Attenu-ation Prior，CAP)，对模糊图像的场景深度使用线性模型学习参数，接着恢复深度信息，进而通过大气散射模型估计透射率并去除雾气
4、。Fattal R等12提出了一种单幅图像去雾算法，通过假设表面阴影与透射率统计独立改进了大气散射模型，增加了表面阴影参数。Tan R T等13观察到无雾图像对比度高于有雾图像，大气光数值与成像距离有关，从而建立马尔科夫随机场的成本函数计算得出大气光。基于实时除雾需要，Tarel J P等14考虑大气衰减模型和大气光模型，利用中值基于空间通道Transformer的双分支网络图像去雾方法张 望（西华大学汽车与交通学院，四川成都610039）摘要：近年来，雾霾天气下对采集的图像和视频去雾需求显著提高，已有的一些物理模型和深度学习去雾方法只估计了较为粗糙的透射率图，并由于估计大气光的系统误差导致图
5、像存在对比度下降、细节缺失等问题。为应对当前问题，提出基于空间通道自注意力网络(Sp a c e-C h a n n e l T r a n s f o r m e r)的双分支图像去雾方法。主干网络设计为编码器-解码器(En c o d e r-D e c o d e r)结构的端到端(En d-t o-En d)网络，通过Po o l Fo r m e r 提取特征，使用跳跃连接增添全局信息，进行实例归一化加快模型收敛速度并增加了亮减暗通道的多尺度图像输入和余弦相似性(C o s i n e Si m i l a r i t y)损失函数。分支网络进行无监督训练，输出双线性插值的暗通道透射
6、图，增加暗通道损失函数，减少像素级细节损失。在R e s i d e 室内数据集中，峰值信噪比(PSNR)达到3 1.6 3 0 5d B，结构相似性(SSIM)达到0.9 715。实验结果表明，相较于对比算法，所提方法对解决对比度下降、细节缺失等问题有较好效果，提高了分辨率，去雾效果更优。关键词：图像去雾；卷积神经网络；T r a n s f o r m e r；无监督训练；损失函数中图分类号：TP391.41文献标识码：A文章编号：1008-6609(2022)10-0082-08作者简介：张望（19 9 7），男，重庆人，硕士研究生，研究方向为交通数据建模分析、图像处理。电脑与电信算法研
7、究-82DOI:10.15966/ki.dnydx.2022.10.019滤波估计雾气浓度，从而复原无雾图像。Wang Y K等15设计一种多尺度融合去雾方法，结合马尔科夫随机场理论搜索深度图的最优解，保留了较多边缘等细节信息，进而恢复高质量的无雾图像。基于卷积神经网络(Convolutional Neural Network，CNN)的方法近年来在去雾任务上取得了较大进展，Cai B等16首次采用端到端的CNN网络结构估计透射率，解决了手工提取特征复杂等问题。Li B等17介绍了一体化去雾网络(All-in-One Dehazing Network，AOD-Net)，通过端到端的轻量级CNN
8、生成清晰图像，满足其他检测任务的需要。Mondal R等18提出了一种基于全卷积神经网络(Fully ConvolutionalNeural Network，FCN)的图像去雾方法，设计了一个联合估计透射率和大气光的网络。Ren W等19提出了一种用于单幅图像去雾的多尺度卷积神经网络(Multi-Scale Convolution-al Neural Networks，MSCNN)模型，它包括估计图像透射图的粗尺度网络和局部细化结果的细尺度网络。以上方法对于图像去雾效果较于图像增强和图像复原方法有明显提升，但由于它们过度关注局部特征，仍有对比度下降、细节缺失等问题。近年来，基于Transfor
9、mer的深度学习方法在自然语言处理32、语音识别33和计算机视觉34等各个领域显示出了巨大潜能。在图像处理领域，Transformer相较于CNN更关注全局信息，注意力机制等结构在图像去雾方面卓有成效。Dosovitskiy A等29首次将Transformer应用于图像，完全替代了卷积操作，并通过在超大数据集上预训练，在一般数据集上得到了优秀的结果。Woo S等30的研究提出在空间和通道注意力融合的卷积注意力模块(Convolutional Block Atten-tion Module，CBAM)，其提取的特征结合多维信息，并在能集成在CNN网络中从而提高性能。Yu W等31专注于Tran
10、s-former在多项任务中有效的原因，提出PoolFormer结构，并表明在Transformer前期使用Pooling模块后期使用Attention模块可以获得良好的效果。由于有雾图像中物体的尺度在密度、分布和大小等方面存在明显差异，本文提出基于空间通道Transformer(Space-Channel Transformer，SCFormer)的双分支去雾网络。首先建立一种特征自适应提取模块(Feature Adative Extraction Mod-ule，FAEM)用于提取图像浅层特征，减少了像素间损失；然后设计编码器-解码器(Encoder-Decoder)结构，Encoder中
11、采用PoolFormer 架构，Decoder 中建立新的空间通道双注意力Transformer；接着添加卷积分支用于无监督学习，从而更好估计传输图；最后在Reside测试数据集上进行了客观评价指标和主观评价指标测试。本文的主要工作包括：（1）基于 Transformer 网络，提出空间通道自注意力网络；（2）针对雾图中的尺度差异，提出一种特征自适应提取模块；（3）针对图像去雾效果，提出一种特征余弦相似度损失函数；（4）在Reside数据集上进行训练与测试，并对比了相关的图像去雾方法，结果验证了本文模型的有效性及优越性。2相关理论基础2.1光学物理模型空气中的微小颗粒几乎不会阻挡光线，但在雾天
12、空气中有大量悬浮粒子，如水蒸气、气溶胶，他们对可见光有很强的吸收和散射作用，造成目标反射光能量的衰减，从而导致成像效果差和对比度低。1925年，Keim等22提出雾天图像能见度较低是大气中的悬浮粒子对光的吸收和散射造成的。根据上述理论，大气衰减模型在1976年由McCartney8提出，如图1所示，公式如下：I(x,)=e-()d()xR(x,)+L(1-e-()d(x)(1)其中：x是图像中像素点的坐标；是光的波长；I(x,)是摄像机获取的雾天图像；()表示大气散射系数；d(x)是摄像机与目标的距离；R(x,)是需要复原的无雾图像；L是无穷远处的大气光值。1999年，Nayar S K等23
13、阐明了雾天图像的成像过程和引起成像质量下降的原因，即目标反射光能量的衰减和环境光受散射作用形成的背景光强度大于目标光，并建立了成像数学模型：I(x,)=e-()d()xJ(x)+(1-e-()d(x)A(2)式中：I(x,)是摄像机采集到的有雾图像；J(x)是输出的无雾图像；A是大气光。2009年，He K等9提出了暗通道先验理论，即在大多数非天空的局部区域里，某些像素灰度值总会有一个颜色通道是很低的值，公式如下：Jdark(x,y)=minx,y(x,y)(mincR,G,BJc(x,y)(3)Jdark(x,y)0(4)其中：Jc(x,y)是彩色图像的各个通道图像；(x,y)是以像素点(x
14、,y)为中心的区域。2017年，Yan Y等24提出类似于DCP的亮通道先验，即是模糊图像中最模糊的图像块里的某些像素灰度值在至少一个颜色通道里是很高的值，其表示为：Jbright(x,y)=maxx,y(x,y)(maxcR,G,BJc(x,y)(5)Jbright(x,y)Abright(x,y)(6)电脑与电信算法研究-83式中：Jc(x,y)是图像的各个颜色通道；(x,y)是以像素点(x,y)为中心的区域；Abright(x,y)是无雾图像的大气光强度。为方便计算，雾天成像模型简化为：I(x)=t(x)J(x)+(1-t(x)A(7)其中：I(x)是输入的有雾图像在坐标x像素的像素值；
15、t(x)是大气透射率。目前基于图像复原的去雾方法通过人工假设等方式估计出大气光A，采用 等方法计算出透射率t(x)，根据大气物理模型推算出去雾图像，但这类方法需要估计的参数较多，误差较大，甚至当图像像素点的灰度值接近大气光值时，局部可能出现色斑、色偏效应，从而导致去雾效果不理想。图1大气散射模型2.2CNNCNN是一种前馈神经网络，它通常由卷积层、池化层和全连接层等组成。2.2.1卷积层卷积层的输出是输入数据和可学习参数构成的卷积核进行卷积操作得到的，公式如下：ykn=f iSnxk-1mkmn+bkn(8)式中：m和n为位置编号；k为网络层数；ykn为神经元输出；Sn为卷积操作区间；xk-1
16、m为神经元输入；kmn为第k层权重；bkn是第k偏置；f是非线性激活函数。2.2.2池化层池化层是对卷积层结果进行降维，扩大感受野，其表示为：ykn=g()f(xk-1m+bkn)(9)式中：是乘性偏置；bkn是第k层偏置；g是激活函数；f是池化函数。2.2.3上采样层上采样层是放大输入图像，其表示为：hn,wn=f(hn-1,wn-1)(10)式中：hn是输出图像高度；wn是输出图像宽度；hn-1是输入图像高度；wn-1是输入图像宽度。3本文方法本文提出一种基于双注意力机制的端到端去雾方法，首先建立特征自适应提取模块(Feature Adative Extraction Mod-ule,FAEM)提取浅层特征；然后构建一种Encoder-Decoder模块，Encoder基于PoolFormer提取全局信息，Decoder关注空间与通道维度，建立自注意力机制模块；同时共同输入多尺度暗通道与明通道先验图像块，并与原图像级联，生成粗糙的透射图；接着使用导向滤波得到较清晰的去雾图像，参与主干网络参数更新，最后得到高质量的无雾图像。3.1网络结构本文构建了结合空间与通道自注意力机制基于Poo