1、第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023基于深度学习的单幅图像去雾研究进展贾童瑶1，卓力1，2，李嘉锋1，2，张菁1，2（1.北京工业大学信息学部，北京 100124；2.北京工业大学计算智能与智能系统北京市重点实验室，北京 100124）摘要：户外视觉系统极易受到雾霾等恶劣天气影响，采集到的图像/视频质量严重下降，这不仅影响人眼的主观感受，也给后续的智能化分析带来严峻挑战.近年来，学者们将深度学习应用于图像去雾领域，取得了诸多的研究成果.但是雾霾图像场景复杂多变、降质因素众多，这对去雾算法的泛化能力提出了很高的要
2、求.本文主要总结了近年来基于深度学习的单幅图像去雾技术研究进展.从先验知识和物理模型、映射关系建模、数据样本、知识迁移学习等角度出发，介绍了现有算法的研究思路、具体特点、优势与不足.尤其侧重于近两年来新出现的训练策略和网络结构，如元学习、小样本学习、域自适应、Transformer等.另外，本文在公共数据集上对比了各种代表性去雾算法的主客观性能、模型复杂度等，尤其是分析了去雾后的图像对于后续目标检测任务的影响，更全面地评价了现有算法性能的优劣，并探讨了未来可能的研究方向.关键词：单幅图像去雾；深度学习；无监督学习；域泛化基金项目：国家自然科学基金（No.61871006，No.61971016
3、）；北京市教育委员会科学研究计划项目资助（No.KZ202210005007，No.KZ201910005007）；北京市自然科学基金-丰台轨道交通前沿研究联合基金（No.L211017）；北京市教育委员会科技计划一般项目（No.KM202110005027）中图分类号：TP391 文献标识码：A 文章编号：0372-2112(2023)01-0231-15电子学报URL:http:/ DOI:10.12263/DZXB.20220838Research Advances on Deep Learning Based Single Image DehazingJIA Tong-yao1,ZHU
4、O Li1,2,LI Jia-feng1,2,ZHANG Jing1,2(1.Faculty of Information Technology,Beijing University of Technology,Beijing 100124,China;2.Beijing Key Laboratory of Computational Intelligence and Intelligent System,Beijing University of Technology,Beijing 100124,China)Abstract:Vision-based outdoor systems are
5、 highly susceptible to severe weather such as haze.The quality of the collected images in the hazy environments is seriously degraded,which affects subjective perception and brings challenges to the subsequent intelligent processing tasks.In recent years,deep learning has been applied to single imag
6、e dehazing and achieved promising results.However,the hazy scenes are complex and unpredictable,which puts a high demand on the generalization ability of the dehazing methods.In this paper,we summarize the recent deep-learning-based single-image dehazing methods.The advantages and disadvantages of t
7、hese methods are analyzed in terms of network mapping relationships,learning methods,training datasets,and knowledge transfer.In particular,we focus on new training strategies and network structures that have emerged in the last few years,such as meta-learning,few-shot learning,domain adaption,and T
8、ransformer.In addition,the subjective and objective performances of various representative dehazing methods are compared on several public datasets.Further,the impact of the dehazed images on the performance of subsequent object detection tasks is analyzed and evaluated comprehensively.We also provi
9、de the computational complexity and running time of these methods.Finally,the conclusions and future tendency of single-image dehazing are drawn.Key words:single-image dehazing;deep learning;unsupervised learning;domain generalizationFoundation Item(s):National Natural Science Foundation of China(No
10、.61871006,No.61971016);R&D Program of Beijing Municipal Education Commission(No.KZ202210005007,No.KZ201910005007);Beijing Natural Science Foundation(No.L211017);General Program of Beijing Municipal Education Commission(No.KM202110005027)1引言自动驾驶、视频监控、军事侦察等户外视觉系统采集到的图像/视频极易受到恶劣天气的影响，不仅主观感受差，而且会对后续的目标检
11、测、跟踪、分类与识别收稿日期：2022-07-17；修回日期：2022-10-06；责任编辑：朱梅玉电子学报2023 年等智能化分析处理任务造成严重影响.雾霾是一种常见的图像降质因素，去雾技术通过对雾霾进行去除，可以有效提升图像的主观感受.从客观角度来看，增强后的图像有助于提升后续智能化分析处理任务的性能.因此，图像去雾成为近年来工业界和学术界的研究热点 1.2012年以来，以卷积神经网络（Convolutional Neural Network，CNN）为代表的深度学习在机器视觉、自然语言处理和语音处理等领域取得了突破性的进展，并逐步被应用在图像去雾领域.大量的研究结果表明，与传统的图像去雾
12、算法相比，基于深度学习的图像去雾算法以大数据为依托，充分利用深度学习强大的特征学习和上下文信息提取能力，从中自动学习蕴含的丰富知识，可以从大数据中自动学习到雾霾图像-清晰图像之间的复杂映射关系，获得了性能上的大幅提升.基于深度学习的图像去雾也因此成为图像去雾领域的主流研究方向，取得了重要的进展.近年来，出现了不少图像去雾研究综述24.与现有的综述相比，本文更侧重于近两年来出现的新思路、训练策略和网络结构，如元学习、小样本学习、域自适应、Transformer等.另外，本文在公共数据集上对比了各种代表性去雾算法的主客观性能、模型复杂度等，尤其是分析了去雾后的图像对于后续目标检测任务的影响，更全面
13、地评价了现有算法的优劣.2基于深度学习的单幅图像去雾早期的基于深度学习的图像去雾算法借鉴了传统算法57中基于物理模型和先验知识的思路进行图像去雾.随着深度学习的迅猛发展和图像去雾数据集的不断推出，基于深度学习的图像去雾算法取得了众多研究成果.有学者利用CNN进行模型参数预测以实现图像去雾，但是这种算法容易叠加参数的预测误差.因此学者们尝试直接利用CNN学习端到端的雾霾图像到清晰图像的映射关系模型.但是，由于在训练过程中往往需要大量低质量-高质量图像样本对，而在实际应用中成对样本往往难以获得，低质量图像往往通过物理模型对高质量图像降质得到，这种人为仿真得到的图像无法很好地描述实际的图像降质过程，
14、因此训练出来的模型泛化能力差，用于处理真实图像时，往往会失效.针对上述问题，研究者们从两个角度开展了研究工作：一是使用非成对样本开展无监督、自监督学习的图像去雾研究，降低对成对样本的依赖；二是将知识蒸馏、元学习、域自适应等机器学习领域的最新研究成果应用于图像去雾中，提升网络的泛化能力，提高实际图像的去雾效果.本文按照基于深度学习的图像去雾方法的发展进程，对现有的方法进行了分类，如图1所示.总的来说，可以分成基于物理模型和先验知识的方法、基于像素域端到端映射的方法、基于非成对低质量-高质量样本对的无监督和自监督学习方法以及基于域知识迁移学习的方法等.2.1基于物理模型和先验知识的图像去雾这类方法
15、根据雾霾图像成像模型或者降质退化模型，利用先验知识或通过学习的方法估计模型中的参数，然后根据退化模型计算得到去雾图像.经典雾霾成像模型是大气光单散射模型（Atmospheric Scattering Model，ASM）.大气光单散射现象如图2所示，光线经过一个散射媒介之后，其原方向的光线强度会受到衰减，并且其能量会发散到其他方向810.因此，在一个有雾的环境中，相机或者人眼接收到的某个物体（或场景）的光来源于两个部分：（1）来自于该物体（或场景）本身，这个部分的光强受到散射媒介的影响会有衰弱；（2）来自大气中其他光源散射至相机或人眼的光强.基于大气光单散射现象的雾霾图像退化模型如式（1）所示
16、：I(x)=J(x)t(x)+A(1-t(x)（1）其中，I(x)是有雾图像，J(x)是物体（或场景）的原始辐射，A是全局大气光值，t(x)被称作介质透射率且t(x)=e-d()x，为全散射系数，d为场景深度.由式（1）可知，同时求解J(x)，t(x)和A是一个欠适定的问题，往往需要利用各种先验知识来先估计透射图t(x)，并以此图1基于深度学习的单幅图像去雾算法分类图2大气光单散射现象示意图232第 1 期贾童瑶:基于深度学习的单幅图像去雾研究进展求出其他未知量.目前，图像去雾领域最具代表性的先验知识为暗通道先验（Dark Channel Prior，DCP）.He等人5统计了大量的无雾图像，发现在图像的大部分区域内，存在一些像素点在至少一个颜色通道中具有非常低的值.暗通道先验可以用数学公式表达为Jdark(x)=miny(x)(mincr,g,bJc(y)（2）据此预测图像透射图，利用大气光散射模型得到最终的去雾结果.但是，暗通道先验对大片天空等区域不够鲁棒，当雾霾图像存在大片天空区域时，处理效果并不理想.Ju等人11通过在ASM中引入光吸收系数设计了增强型大气光散射模型（Enhan
