1、基于密度分类引导的双阶段雨天图像复原方法梅天灿*曹敏杨宏高智易国洪(武汉大学电子信息学院武汉430072)(中国科学院空天信息创新研究院北京100190)(武汉大学遥感信息与工程学院武汉430072)(武汉工程大学计算机科学与工程学院武汉430205)摘要：雨天作为最常见的恶劣天气，对图像造成的退化效应主要包括雨线对背景的遮挡、雨线累积形成的雨雾效应，从而导致很多为清晰成像条件设计的视觉系统运行效果大打折扣。为了实现雨线和雨雾同时去除、更鲁棒地处理各种真实雨天场景，该文提出了一种雨密度分类引导的双阶段雨天图像复原方法。该方法结合雨天物理模型先验与cGAN网络优化，综合考虑不同模式的雨线与雨雾，
2、利用单独的雨密度分类网络为优化阶段提供引导信息，可以实现不同密度的雨线和雨雾图像复原。在公开合成数据集和真实雨天图像上进行了大量实验，定量和定性的结果均表明了所提方法在去雨有效性和泛化性上的优势。关键词：图像去雨；物理模型；cGAN；密度感知；特征融合中图分类号：TN911.73文献标识码：A文章编号：1009-5896(2023)04-1383-08DOI:10.11999/JEIT220157Two-stage Rain Image Removal Based on Density GuidanceMEITiancanCAOMinYANGHongGAOZhiYIGuohong(School
3、 of Electronic Information,Wuhan University,Wuhan 430072,China)(Aerospace Information Research Institute,Chinese Academy of Sciences,Beijing 100190,China)(School of Remote Sensing and Information Engineering,Wuhan University,Wuhan 430072,China)(School of Computer Science and Engineering,Wuhan Instit
4、ute of Technology,Wuhan 430205,China)Abstract:Asthemostcommonsevereweather,raincandegradetheperformanceofmanyvisionsystemsdesignedforclearimagingconditions.Inordertorealizethesimultaneousremovalofrainstreaksandrainaccumulation,andtodealwithvariousrealrainscenes,atwo-stagerainimagerestorationmethodgu
5、idedbyraindensityclassificationisproposed,whichintegratesphysicsmodelandcGANrefinement.Extensiveexperimentsareconductedonrepresentativesyntheticraindatasetsandrealrainscenes.Quantitativeandqualitativeresultsdemonstratethesuperiorityoftheproposedmethodintermsofeffectivenessandgeneralizationability.Ke
6、y words:Imagederaining;Physicsmodel;cGAN;Density-aware;Gatedfusion1 引言雨作为最常见的恶劣天气之一，对图像造成的影响主要包括以下3个方面：附着在相机镜头或窗玻璃上的雨滴会遮挡背景信息，并由于光线的折射和散射而产生畸变；随机分布在图像中的雨丝具有不同的方向、形状和密度，会模糊背景、导致细节的丢失；雨丝随距离逐渐增强的累积效应会在图像中产生面纱效果，形成雾一般的模糊效应。以上退化效应会使得针对清晰成像条件设计的计算机视觉系统效果大打折扣，例如目标识别、场景理解、视觉定位与导航等。采用去雨算法进行图像增强，能有效改善这些任务的效果，
7、Bahnsen等人1对目前存在的大部分去雨方法处理后的图像进行了实例分割、特征跟踪等工作的效果评估，发现较直接在原始雨天图像上处理均有一定提升。因此，雨天图像复原任务是非常有价值且必要的，可以作为后续一系列计算机视觉任务的重要预处理步骤。根据输入可将去雨分为单幅图像去雨和视频去雨两大类，视频去雨对帧间的时间维度冗余信息加以利用，而单幅图像去雨缺乏前后帧来提供更多的约束条件，是更加病态和具有挑战的问题。现有的收稿日期：2022-02-21；改回日期：2022-08-31；网络出版：2022-09-03*通信作者：梅天灿第45卷第4期电子与信息学报Vol.45No.42023年4月Journalo
8、fElectronics&InformationTechnologyApr.2023去雨算法主要包括基于先验知识或物理模型的传统算法、基于深度学习的去雨算法两大类，传统方法对雨的物理特性加以分析，认为雨天图像满足简单的雨层与背景层线性叠加物理模型，通过调整相机参数2、利用高斯混合模型先验3、低秩先验4、频域分析与小波分解5等方法进行图像分层，得到雨层与背景层从而进行去雨。这些基于不同先验知识的方法对图像的特征提取和表达均停留在较低层次，当图像中出现外观形态类似雨丝的物体(如砖块、细绳、桅杆等)时也会被误识别为雨丝，并且会对背景中的高频细节信息做平滑和模糊处理，适用场景有限、鲁棒性不足。近年来深
9、度学习迅速发展，也被广泛应用在恶劣条件图像复原任务中，Fu等人6给出了第1个专用于除雨的卷积神经网络DerainNet，通过滤波器分层结合残差结构CNN对高频细节层进行除雨。郭继昌等人7提出了一种多尺度特征融合网络来处理雨丝的多种形状和方向，利用有雨区域具有低饱和度、高亮度的固有特征来辅助网络训练。DID-MDN算法8由雨密度分类网络与密集去雨网络两个分支组成，实现了在一个端到端网络中对不同密度的雨进行处理。PReNet9给出了一个轻量级的基准去雨网络，采用多阶段模型实现渐进式去雨。MSPFN10构建了包含注意力机制的多尺度金字塔结构，在空间维度上探索互补和冗余的信息以表征目标雨条纹。Lin等
10、人11提出了一种顺序连接的双分支注意力网络，用于更好地学习图像上雨线分布并进行去除。Deng等人12设计了一个包含两个并行分支分别用于去除雨线和复原图像中丢失的细节信息，最近Fu等人13则将图卷积网络应用至雨线去除任务中；Guo等人14则将去雨看作预测滤波问题，通过深度网络学习具有空间不变性的滤波算子从而滤除各像素处的雨线；Zheng等人15基于任务驱动思想，将语义信息引导和度量学习用于图像去雨中，使得去雨网络更好地服务于后续高层级视觉任务。以上去雨算法均没有显式对雨雾效应进行考虑，仅仅只进行了雨线的特征提取与去除，最终复原的背景仍较为模糊。Li等人16提出了暴雨天图像复原方法HRR，采用物理
11、模型作为约束对雨雾效应进行显式处理，但网络针对暴雨图像而设计，不能有效对不同密度大小、不同模式的雨进行处理，去雨结果中存在雨线残留。目前大部分基于深度学习的去雨算法都面临成对的有雨、清晰图像获取困难的挑战，采用合成数据集进行训练，而合成数据只能表示某种或几种特定形态的雨，与复杂多变的真实雨天场景存在较大差异，这就使得训练好的网络只在与训练数据类似的特定密度、特定模式的雨处理效果较好，对真实数据表现不佳、泛化性不够。近年来也不乏有无监督17/半监督18去雨算法被提出，但由于缺乏足够的约束来使网络向正确方向收敛、训练过程极不稳定，这类方法目前发展还很不成熟、效果也不理想。针对现有去雨算法存在的缺乏
12、去雾去除、难以处理不同模式和不同密度的真实雨天场景两个主要问题，本文提出了基于密度分类引导的双阶段雨天图像复原方法，主要由物理模型引导的先验去雨网络、反向求解模块、雨密度分类网络和优化去雨网络4部分构成。先验去雨网络以加入雨雾效应的物理模型作为约束进行雨线、雨雾学习，由反向求解模块回代到模型中进行去除。另外单独训练一个雨密度分类网络，给出雨密度标签作为后续优化阶段的引导信息。优化去雨网络不再显式依赖于物理模型，而是采用条件生成对抗网络进一步恢复初始去雨阶段未能恢复的背景细节，并纠正初始阶段引入的失真。本文去雨算法针对的应用场景为普通相机采集到的日间雨天图像，能够处理雨线、雨雾两种退化效应以及不
13、同密度大小的常规雨天场景，对暴风雨、雨雪交加等极端恶劣天气具有一定的局限性，可以作为预处理步骤解决后续高层级的计算机视觉系统(如目标检测、语义分割、视觉定位与导航等)在恶劣场景下失效的问题。2 基于密度分类引导的双阶段雨天图像复原方法2.1 雨天物理模型为了实现在端到端网络中同时对雨线和雨雾进行去除，初始去雨阶段使用到了雨天物理模型作为约束，从而显式地对雨雾层进行特征提取与学习。最初被广泛使用的是简单的雨层与背景层线性叠加模型：I=B+S(1)IBR其中，是雨天图像，是待复原的清晰背景，是雨层，然而实际雨天场景中雨层与背景层并不只是线性叠加关系，特别是在距离镜头较远处两者的混合方式是很复杂的。
14、通过对雨的物理特性进行更详细的分析，得到雨对图像造成的退化效应主要包括直接叠加的雨线层、随场景深度增强的雨雾效应，由此给出表达能力更强的物理模型：I=T(B+ni=1)+(1 T)A(2)T=ed(x)(3)SiUT其中，是各雨线层，是全局大气光，是与场1384电子与信息学报第45卷d(x)景深度呈负指数相关的传输图，是大气散射系数，先验去雨网络使用该物理模型进行初始去雨。2.2 单幅图像去雨算法本文提出了一种基于密度分类引导的双阶段雨天图像复原方法，网络整体框架如图1所示，主要由物理模型引导的先验去雨网络、反向求解模块、雨密度分类网络和优化去雨网络4部分构成。该去雨框架同时适用于单幅图像与视
15、频图像，处理视频图像时输入变成连续5帧序列图像级联，网络中的卷积层相应替换为3维卷积，从而对时间维度上的帧间互补信息加以利用，实现雨天视频图像复原。2.2.1 先验去雨网络先验去雨网络由雨线模块、雨雾模块和传输图模块3个子网络构成，均以雨天图像作为输入，分别用来估计物理模型中的雨线层、全局大气光和传输图，我们通过分析该3个未知参量的物理特性对网络进行了针对性设计，如图2所示。实际情况下由于风的影响和距离镜头的远近不同，雨线的方向、尺寸和形状等都是随机多变的，因此多尺度特征提取与融合对于不同模式的雨线学习与去除是很重要的。雨线模块的网络结构如图2所示，用到了空洞卷积和门控特征融合来扩大感受野、融
16、合多尺度语义信息，包括3个膨胀系数分别为1,2,3的空洞卷积分支在不增大参数量的同时提取到不同尺度Fd1Fd2Fd3Wd1Wd2Wd3St下的雨线特征,。不同于常规的通道级联特征融合方式，雨线模块采用门控特征融合方式，在特征提取分支后加入一个额外的33卷积层，为3个不同尺度下的特征分别生成权重图,，最后经过特征加权融合与33卷积层进行通道压缩，得到雨线层：St=ReLU(Conv33(Fd1 Wd1+Fd2 Wd2+Fd3 Wd3)(4)Ut雨雾模块采用类似分类器结构，由步长为2的卷积层堆叠5次构成，最后通过全连接层展平提取到的特征，再经过激活层和上采样得到对整幅图像的每个像素均一致的全局大气光。传输图模块采用编-解码器结构，先由卷积层和最大池化层逐层扩大感受野提取到分辨率为原始输入1/16的高层特征图，再经过反卷积上采样恢复原始分辨率，并用到了跳跃连接来稳定训练过程、实现特征融合。以上3个子网络均采用有监督训练方式进行联合训练，采用均方根误差MSE(MeanSquaredError)来构造目标函数：Lstage1=LMSE(St,?S)+LMSE(Ut,?U)+LMSE(Tt,?T)