1、第 44 卷第 6 期2 0 2 3 年 6 月兵工学报ACTA AMAMENTAIIVol 44 No 6Jun2023DOI:10 12382/bgxb 2022 0204基于通道校正卷积的真彩色微光图像增强何锦成，韩永成，张闻文，何伟基，陈钱(南京理工大学 电子工程与光电技术学院，江苏 南京 210094)摘要:针对现有真彩色夜视相机所成图像亮度低、对比度低、噪声和色彩失真等问题，提出基于通道校正卷积的神经网络算法。通道校正卷积的上分支引入通道注意力块分析 GB 通道之间的特征，用来代替 U-Net 网络中的传统卷积，实现颜色恢复并保留更多图像信息;在传统损失函数中增加 Sobel 损失
2、函数和色彩损失函数，抑制噪声的同时并保护图像细节，减小色差、增强对比度。采集真实场景下的图像数据集，提升对实际数据的处理效果。实验结果表明:该算法能同时处理低照度图像的亮度、对比度、噪声和色差问题，增强效果优于目前主流算法;与传统卷积的 U-Net 网络相比，降低了模型复杂度，提高了运行速度，计算量减少了 13.71%，参数减少了 13.65%，PSN 值提升了 29.20%，SSIM 值提升了 7.23%，色差减少了 10.46%，兼顾了成像质量与成像速度。关键词:微光图像;图像增强;颜色恢复;噪声抑制;卷积神经网络中图分类号:TN223文献标志码:A文章编号:1000-1093(2023)
3、06-1643-12收稿日期:2022-03-29基金项目:国家自然科学基金项目(61875088);江苏高校“青蓝工程”资助项目(2020 年)True Color Low Light Image Enhancement Based on Channel CalibratedConvolutionHE Jincheng，HAN Yongcheng，ZHANG Wenwen，HE Weiji，CHEN Qian(School of Electronic and Optical Engineering，Nanjing University of Science and Technology，Na
4、njing 210094，Jiangsu，China)Abstract:Aiming at the problems of low brightness，low contrast，noise and color distortion of imagesproduced by existing true color night vision cameras，a neural network algorithm based on channel-calibrated convolution is proposed The upper branch of the channel-calibrated
5、 convolution introduces achannel attention block to analyze the features between the GB channels This replaces the traditionalconvolution in the U-Net network，enabling color recovery and the retention of more image informationThe Sobel loss function and color loss function are added to the tradition
6、al loss function to suppress noise，preserve image details，reduce chromatic aberration，and enhance contrast An image dataset under realconditions is collected，which improves the processing effect of the actual data The experimental resultsshow that the algorithm in this paper can simultaneously deal
7、with the brightness，contrast，noise andchromatic aberration of low-light images，and the enhancement effect is better than the existingmainstream algorithms Compared with the traditional convolutional U-Net network，the novel methodreduces the model complexity and improves operating speed，with a 13.71%
8、reduction in computation，a13.65%reduction in parameters，a 29.20%increase in PSN，a 7.23%increase in SSIM，and a10.46%decrease in chromatic aberration The algorithm in this paper strikes a balance between imagingquality and speed兵工学报第 44 卷Keywords:low-light-levelimage;imageenhancement;colorrestoration;
9、noisesuppression;convolutional neural network0引言夜视技术是通过光电成像器件来探测夜间目标的技术1。传统的夜视技术均为单色图像，由于人眼能分辨的颜色等级是灰度等级的几百倍2，研究人员致力于将单色夜视图像彩色化。以往是利用不同波段的信号产生的图像融合成彩色图像3 或者通过颜色传递的方法4 5，产生的彩色图像不自然，不能反映景物在白天所呈现的真实颜色信息。真彩色夜视技术得到的图像与白天看到物体的颜色相一致，更加接近物体的真实颜色6，与人眼的主观视觉相一致，能够提高目标的识别率，具有重要的研究意义和应用价值。随着探测器灵敏度的不断提高及背照式传感器等技术
10、的发展，固态成像器件也逐步向低照度成像方向发展。低照度图像增强方法大致分成两大类:传统的方法和基于深度学习的方法7。传统的有基于直方图均衡化(HE)的方法、基于 etinex 理论的方法8 10 和基于暗通道去雾的方法11。基于深度学习的如下:Wang 等12 采用了编码解码的网络进行光照图估计，然后通过简单网络进行细节重建。Wei 等13 提出用网络将低照度图像分成光照图和反射图，对光照图进行增强，反射图进行去噪，最后合成结果。Song 等14 是对 Wei 等13 方法的改进，提出了多尺度联合网络对光照图进行增强，并提出了色 彩 损 失 函 数 解 决 了 颜 色 失 真 的 问 题。Zh
11、ang 等15 提出的方法与 Wei 等13 的方法类似，但其在反射图上通过恢复网络进行降噪，最终合成结果。黄辉先等16 在光照增强网络上加入了注意力机制，有效提高了网络的性能。这些基于 etinex 模型的方法关键的步骤就是估计光照图，如何准确估计光照图决定了它们处理结果的准确性与可靠性。Jiang 等17 提出了无监督的方式进行图像增强。Guo 等18 提出了通过设计光照增强曲线来增强低照度图像。Zhang 等19 提出了反射图的最大通道与低照度图像的最大通道一致且熵最大来设计损失函数增强低照度图像。唐超影等20 利用卷积神经网络将低照度的可见光图像与近红外图像融合，既保留了可见光图像的色
12、彩，又兼顾了近红外的信噪比。在极低照度条件下，Chen 等21 提出了利用卷积神经网络 U-Net22 来代替传统的图像处理管道来处理原始传感器图像。该方法只针对特定的 raw 图像数据集，采用的是传统损失函数，未考虑图像噪声和色彩损失。为了抑制低照度图像的噪声，一些方法是先增强、后降噪，但是增强会导致原来图像中的噪声更明显;还有的方法是先降噪、后增强，这样会导致原来图像中的细节丢失产生模糊。此外，分两步进行还会增加处理时间，影响实时性。本文提出一种基于通道校正卷积(Channel-Cal-ibrated Convolution，CCConv)的低照度彩色图像增强算法，用通道校正卷积来代替传统
13、的卷积，形成U-Net 结构的网络来进行端对端的训练。在传统损失函数上增加了 Sobel 损失函数和色彩损失函数，抑制噪声并提高色彩饱和度。该算法既能同时处理低照度图像的亮度、对比度、颜色、噪声等问题，又能减少运行时间。1基于通道校正卷积的图像增强算法传统卷积构成的 U-Net 网络在许多的计算机视觉任务中显示出优越性21 22，能够有效分割图像并将信息融合，且位置不偏移等。整个网络的输入为含噪的低照度图像，通过编码器下采样进行特征提取，然后通过解码器上采样，与之前通过跳连接的方式进行特征融合，最后输出恢复的图像。但是传统卷积在优化冗余色彩和保留图像细节方面做的不够好，因此本文采用 CCCon
14、v 代替 U-Net 网络中的传统卷积，算法处理流程与网络结构如图 1 所示，能更好地呈现细节特征，保留丰富的信息。图 1基于 CCConv 网络结构及图像处理流程Fig 1CCConv-based network structure and imageprocessing flow1.1基于通道注意块的通道校正卷积由于彩色图像 GB 各个分量中的纹理、边缘、相位和灰度变化梯度具有很强的相关性和一致性23，本文引入注意力机制24 中的通道注意块，便于分析各个通道之间的特征。假设原始输入图 Fin，4461第 6 期基于通道校正卷积的真彩色微光图像增强通过全局平均池化和全局最大池化特征描述符，然
15、后由多层感知器生成特征向量，最后通过 Sigmoid函数获得通道注意特征图，将该特征图与原始输入Fin相乘得到结果 Fout。该计算过程可以用图 2 描述。图 2通道注意块工作流程Fig 2Channel attention block workflowWc=sigmoid MLP AvgPool(Fin)+MLP MaxPool(Fin)(1)Fout=Wc Fin(2)式中:Wc为通道注意特征图;Fout为结果特征图;MLP()为多层感知器;AvgPool()为平均池化;MaxPool()为最大池化。受到自我校正卷积25 的启发，本文提出的CCConv 可以优化冗余色彩并保留更多图像信息，
16、对特征表达更具判别力。如图 3 所示，先将输入通过1 1 卷积分成两个分支，每个分支上的通道数为原来的一半，上分支采用通道注意力块(Channel At-tention Block，CAB)，便于分析各个通道之间的特征，下分支维持原来的信息，最终级联输出通过 1 1 卷积恢复到原来的通道数。图 3 中，xin和 xout分别输入和输出，x1与 x2为中间输出，为了提高训练速度，使用残差即与原来输入相加，算法使用的通道数如表 1 所示。图 3通道校正卷积原理框图Fig 3Block diagram of Channel-Calibrated Convolution表 1网络各卷积层特征通道数Table 1Number of feature channels in each convolutionallayer of the network名称L1L2L3L4L5L6L7L8L9L10通道数326412825651225612864323通道校正卷积公式为x1=f3 3 CAB f1 1(xin)(3)x2=f3 3 f1 1(xin)(4)xout=xin+f1 1 concat(x1，
