1、引用格式:邱小霞，鲍华，高国庆，等 无参考自适应光学图像质量评价J 电光与控制，2023，30(3):48-53 QIU X X,BAO H,GAO G Q,et alNo-reference adaptive optical image quality assessmentJ Electronics Optics Control,2023,30(3):48-53无参考自适应光学图像质量评价邱小霞1，2，3，鲍华1，2，高国庆1，2，3，4，张莹1，2，3，何春元4，李淑琪1，2，3(1 中国科学院自适应光学重点实验室，成都610000;2 中国科学院光电技术研究所，成都610000;3 中国
2、科学院大学，北京100000;4 电子科技大学，成都611000)摘要:自适应光学(AO)成像系统受残余大气湍流、闭环跟踪误差和光电探测噪声等因素的影响，成像结果参差不齐，不利于后期图像筛选和事后处理，故需要对图像质量进行评价。传统图像质量评价方法对自适应光学图像质量的评价不可靠，甚至会出现评价结果与实际背离的情况。针对上述问题，根据自适应光学系统的成像过程，生成具有图像质量标签的自适应光学退化图像数据集，在此基础上采用以 ResNet 作为主干的深度神经网络，训练得到了用于评价自适应光学图像质量的神经网络模型，在测试集上的 Spearman 相关系数(SROCC)最佳为 0 994。实验结果
3、表明，该方法综合考虑了自适应光学图像成像过程中的多种退化因素，通过训练深度神经网络得到无参考自适应光学图像质量评价模型，评价精度优于其他传统图像质量评价算法。关键词:图像质量评价;自适应光学图像;深度神经网络中图分类号:TP751;O439文献标志码:Adoi:10 3969/j issn 1671 637X 2023 03 009No-reference Adaptive Optical Image Quality AssessmentQIU Xiaoxia1,2,3,BAO Hua1,2,GAO Guoqing1,2,3,4,ZHANG Ying1,2,3,HE Chunyuan4,LI
4、Shuqi1,2,3(1 Key Laboratory on Adaptive Optics,Chinese Academy of Sciences,Chengdu 610000,China;2 Institute of Opticsand Electronics,Chinese Academy of Sciences,Chengdu 610000,China;3 University of Chinese Academy of Sciences,Beijing 100000,China;4 University of Electronic Science and Technology,Che
5、ngdu 611000,China)Abstract:Adaptive Optics(AO)imaging system is affected by residual atmospheric turbulence,closed-looptracking error and photoelectric detection noise,and imaging results are blurred to varying degrees,which isnot conducive to the later image screening and post-processing,thus,it is
6、 necessary to evaluate the imagequality Traditional image quality assessment methods are not reliable for no-reference AO image qualityassessment,and even the assessment results deviate from the actual situation Aming at the above problems,according to the imaging process of AO system,an AO degradat
7、ion image dataset with image quality labels isgenerated On this basis,a neural network model for assessing the AO image quality is trained by usinga deep neural network with ResNet as the backbone,and the best Spearmans Rank Order CorrelationCoefficient(SROCC)on the dataset is 0994 The experimental
8、results show that this method comprehensivelyconsiders various degradation factors in the process of AO imaging,a no-reference AO image quality assessmentmodel is obtained by training deep neural network,and the assessment accuracy is better than that of othertraditional image quality assessement al
9、gorithmsKey words:image quality assessment;adaptive optical image;deep neural network0引言自适应光学系统1(Adaptive Optics System，AOS)虽然校正了大部分波前相差，但是自适应光学图像的收稿日期:2022-02-14修回日期:2022-03-08基金项目:国家自然科学基金(11727805)作者简介:邱小霞(1997)，女，四川内江人，硕士。通迅作者:鲍华(1981)，男，四川乐山人，博士，副教授，硕导。质量仍会受到以下因素的影响:1)风力载荷、机架振动等因素导致光轴抖动产生整体倾斜，跟
10、踪校正的不完全使得自适应光学图像存在运动模糊;2)自适应光学系统只能部分校正大气湍流的波前畸变，残余的高阶相差会导致图像的弥散模糊 2，当自适应光学系统工作不充分时上述两种现象会更加明显;3)自适应光学系统中的光电探测器及杂散光会引入背景噪声，导致图像质量进一步下降;4)物体姿态与太阳的夹角关系会导致图Vol 30No 3Mar 2023第 30 卷第 3 期2023 年 3 月电光与控制Electronics Optics Control邱小霞等:无参考自适应光学图像质量评价像亮暗不均、对比度严重失调，图像中过亮或过暗的部分都会导致细节丢失，影响对图像信息的判别理解。自然图像质量评价领域中，
11、基于像素域的方法3 只考虑了像素之间的差异，基于变换域的方法将图像从空域变换到其他域，再对图像进行质量评价，但是这两类方法都忽略了与人眼视觉的相关性 4。为此出现了大量的基于结构相似性的方法，其中，WANG 等 5 提出的结构相似度模型(SSIM)综合考虑了亮度、对比度和结构这3 种特征，后续的许多方法都是在此基础上进行的改进，如 SR-SIM6。随后出现了基于模型的方法7 10，这类方法是将特征提取出来之后再使用机器学习方法对图像质量进行分类或打分。基于深度学习的无参考图像质量评价方法在自然图像质量评价领域显示出优于传统方法的预测性能。文献 11 15 在 ImageNet 数据库上进行初始
12、化模型参数的预训练，之后使用常用的图像质量评价数据库对模型进行微调;文献 13 利用图像之间的质量排序作为图像质量评价的一个辅助任务，设计了一个孪生网络进行多任务学习，达到了运用无标签数据训练图像质量评价模型的目的，解决了这类图像质量评价方法泛化能力不足的问题。传统无参考图像质量评价方法可以用于评价自适应光学图像复原前后的相对质量提升，由此来判断复原结果的好坏15 16，但用于评价自适应光学退化图像的质量会出现评价结果与实际背离的情况，其原因在于自适应光学图像自身的特点:1)自适应光学图像是灰度图像，不能使用颜色特征判断图像的质量;2)自适应光学图像由于运动模糊和大气湍流的退化，具有较多的模糊
13、光晕;3)自适应光学图像具有大面积的黑色或灰色背景，这些背景处只包含极少的图像质量的信息;4)自适应光学图像灰阶分布较窄，不能通过简单地判断图像对比度等特征来评价图像质量的好坏。目前，实现自适应光学图像挑选的方法是利用有经验的观察者对采集到的大量自适应光学图像进行主观挑选，但是这种主观的方法耗时耗力，主观性强，容易受到观察者情绪、经验等因素影响。针对上述问题，提出了一种基于深度学习的无参考自适应光学图像质量评价方法。首先通过改变三维模型和光照的方位，得到不同大小、姿态和亮暗分布的仿真图像，作为参考图像;然后模拟自适应光学系统成像过程，生成数据量为 40 万帧的自适应光学退化图像数据集，通过有参
14、考图像质量评价方法计算参考图像和退化图像之间的相似度作为退化图像质量的主要组成部分，图像质量标签由此部分联合其他可反映图像质量的特征共同生成;在此基础上以 ResNet 系列为网络主干的深度神经网络训练自适应光学图像质量评价模型，在测试集上的评价精度(SROCC)最高可以达到0 994。本文训练得到的评价模型综合考虑了运动模糊、大气湍流、噪声、物体的姿态和光照等因素，不仅是对图像的保真度及视觉效果的评价，还包含对 AO 系统校正性能及图像信息量的评价。1自适应光学图像的质量评价1 1数据集生成自适应光学退化图像数据库的生成综合考虑了物体姿态、光照方位、运动模糊、大气湍流和背景噪声等因素，图像的
15、退化模型如式(1)所示，式(1)相较于文献 17 中的光学成像模型额外增加了运动模糊。I(x，y)=f(x，y)*h(x，y)*t(x，y)+n(x，y)(1)式中:I(x，y)是退化后的图像;f(x，y)是理想图像;h(x，y)是大气湍流点扩散函数;t(x，y)是运动模糊函数;n(x，y)是加性高斯噪声;*表示卷积。首先通过互联网获取“天宫一号”几何尺寸数据，如图 1(a)所示;通过 MeshLab 软件重建出“天宫一号”的三维模型，如图 1(b)所示;根据三维模型可得“天宫一号”的不同姿态、不同光照方向的仿真图像，如图 1(c)所示。可以发现，图 1(c)的仿真图像非常接近真实的图 1(a
16、)的“天宫一号”图像。图 1“天宫一号”图像Fig 1Tiangong-image通过调整式(1)的配置参数，获得参考图像所对应的不同退化程度的自适应光学退化图像序列，见图2。图2从数据集中取出的部分图像Fig2Partial images taken from the dataset94第 3 期图2 是从数据集中取出的部分图像，观察图2(a)2(l)，图像质量在逐渐变好。上述仿真图像表明，本文方法能获得不同退化程度的自适应光学仿真图像。由本文方法形成了一个包含40 万帧自适应光学退化图像的数据集。12标签生成由于自适应光学退化图像数据集中图像数量巨大，因此提出使用有参考的方法生成数据集的质量标签。图 3(a)是图 2 中子图的标签值展示，图 3(b)是使用不同的图像质量评价方法对图 2 中各个子图进行评价所得的评分值展示。图 3 中，横坐标 1 12 代表图 2(a)2(l)。图 3图 2 中各子图评分值展示Fig 3The score of each sub-graph in Fig 2图 3(a)中，蓝色曲线 sim 是使用有参考的图像质量评价方法 SR-SIM 进行评价的结果