1、书书书第 23 卷第 1 期2023 年 3 月南京师范大学学报(工程技术版)JOUNAL OF NANJING NOMAL UNIVESITY(ENGINEEING AND TECHNOLOGY EDITION)Vol.23 No.1Mar，2023收稿日期:20220915基金项目:国家自然科学基金资助项目(62020106012、U1836218、62106089)、教育部 111 项目(B12018)通讯作者:吴小俊，博士，教授，博士生导师，研究方向:模式识别、计算智能、计算机视觉和信息融合 E-mail:wu_xiaojun jiangnaneducndoi:103969/jissn
2、16721292202301001基于无监督深度学习的红外图像与可见光图像融合算法张宇苏1，2，吴小俊1，2，李辉1，2，徐天阳1，2(1江南大学人工智能与计算机学院，江苏 无锡 214122)(2江南大学江苏省模式识别与计算智能工程实验室，江苏 无锡 214122)摘要 红外和可见光图像表征了互补的场景信息 现有的基于深度学习的融合方法大多通过独立提取网络分别提取两个源图像特征，从而丢失了源图像之间的深度特征联系 基于此，提出了一种新的基于无监督深度学习的红外图像与可见光图像融合算法，针对不同模态的特点采用不同的编码方式提取图像特征，利用一个模态的信息补充另一个模态的信息，并对提取到的特征进
3、行融合，最后根据融合特征重建融合图像 该算法可在两个模态的特征提取路径之间建立交互，不仅可预融合梯度信息和强度信息，且能增强后续处理的信息 同时设计了损失函数，引导模型保留可见光的细节纹理，并保持红外的强度分布 将所提算法与多种融合算法在公开数据集上进行对比实验，结果表明，所提算法获得了良好的视觉效果，客观指标评价方面对比现有的优秀算法也有一定的提升 关键词 图像融合，可见光图像，红外图像，无监督学习，卷积神经网络 中图分类号 TP3914 文献标志码 A 文章编号 16721292(2023)01000109Infrared Image and Visible Image Fusion Al
4、gorithmBased on Unsupervised Deep LearningZhang Yusu1，2，Wu Xiaojun1，2，Li Hui1，2，Xu Tianyang1，2(1School of Artificial Intelligence and Computer Science，Jiangnan University，Wuxi 214122，China)(2Jiangsu Provincial Engineering Laboratory of Pattern ecognition and Computational Intelligence，Jiangnan Unive
5、rsity，Wuxi 214122，China)Abstract:Infrared and visible images represent complementary scene information Most of the existing deep learning-basedfusion methods extract the feature of the two source images through independent extraction networks，which leads to the lossof deep feature relationships betw
6、een source images To solve this problem，a new infrared and visible image fusionalgorithm based on unsupervised deep learning is proposed Specifically，the proposed algorithm adopts different encodingapproaches to extract image features according to the characteristics of different modalities，and uses
7、 the information of onemodality to supplement that of another one Then，the extracted features are fused，and finally the fused image isreconstructed according to the fused features The algorithm can establish an interaction between the feature extractionpaths of the two modalities，which can not only
8、prefuse gradient information and intensity information，but also enhance theinformation for subsequent processing A loss function is designed to guide the model to preserve the detailed texture ofvisible image and retain the intensity distribution of infrared image The proposed algorithm is compared
9、with a variety offusion algorithms on the public dataset The experimental results show that the proposed algorithm has achieved good visualeffects，and that the objective evaluation is also improved compared with the existing excellent algorithmsKey words:image fusion，visible image，infrared image，uns
10、upervised learning，convolutional neural network图像融合作为一种图像增强技术，是指从不同的源图像中提取并聚合有意义的信息，目的是生成信息量更大且有利于后续应用的单个图像12 红外和可见光图像融合在许多方面具有优势，是图像融合研究的一个热门领域 红外图像能捕捉热辐射信息并具有显著的对比度，可在背景中突出目标，但通常具有低分辨率和较差的纹理 可见光图像包含丰富的细节信息并具有较高的分辨率，更符合人类视觉感知，但易1南京师范大学学报(工程技术版)第 23 卷第 1 期(2023 年)受天气、照明等因素的影响 结合两种不同模态图像的优点进行融合可获得具有高
11、对比度和丰富纹理的融合图像 红外和可见光图像融合在军事侦察、安防监控等许多领域发挥着重要作用36 现有的图像融合方法可分为两大类:传统的图像融合方法和基于深度学习的图像融合方法 传统的图像融合方法主要包含基于多尺度变换的方法79、基于稀疏表示的方法1011、基于子空间的方法1213 和基于显著性的方法1415 然而，大多数传统方法依赖于大量的手工设计，耗时长、效率低深度学习强大的特征表示能力极大地推动了图像融合领域的发展16 Liu 等17 首次将 CNN 引入到多聚焦图像融合任务中，相比传统算法有了显著的改进，但仍需进行有监督的训练，且红外图像和可见光图像无可参考的融合图像 Li 等18 提
12、出了一种具有密集块的融合架构，使用 MS_COCO 数据集来训练网络以实现图像特征的提取与重建，并将中间层提取的特征连接到解码网络中 上述方法均需利用预先训练好的模型提取图像特征，而非端到端的方法，无法避免人工设计融合规则，因而影响了最终融合图像的性能 生成式对抗网络可作为无监督图像融合的有效手段 Ma 等19 首先应用 GAN 实现了红外与可见光图像融合，利用生成器和鉴别器之间的对抗博弈迫使融合图像保留显著的红外目标和更多细节纹理信息虽然现有的基于深度学习的方法可在融合任务中取得更好的结果，但仍存在一些不足之处 首先，卷积操作存在信息丢失的缺陷，许多方法忽略了中间卷积提取层获得的大量有用信息
13、，影响了最终的融合性能 其次，未考虑源图像固有的不同特性，而是提出相同的特征变换或表示模型来无差别地提取特征，某些情况下并不合适 第三，大多数方法采用的源图像对的特征提取网络是相互独立的，在特征提取过程中会丢失两个源图像之间的深度特征关联为克服以上问题，本文提出一种基于无监督的深度学习红外图像与可见光图像融合网络 首先，该网络是一种端到端模型，以源图像为输入，以融合图像为输出，中间无任何手工干预 其次，对于不同模态的图像，并不采用相同的特征编码方法，而是根据各个模态的特点选择合适的特征提取方式 DenseFuse 保留可见光细节信息优于红外热辐射信息18 受此启发，所提方法对可见光图像采用密集
14、块进行特征提取，对红外图像利用特征金字塔提取多个尺度的深层显著特征 网络在对源图像的特征提取过程中利用一个模态的特征信息来补充另一个模态的特征信息，在两个独立的特征提取路径之间建立交互，从而达到预融合的目的 所提算法基于图像的梯度信息、强度分布和结构相似性设计损失函数 实验结果表明，所提算法融合结果无论在主观评价还是客观指标评价方面都具有一定的竞争力inputencoderfusionlayerdecoderoutputIfFusionC5C6C7C8ConcatenationElement-wisesummationIviIirC1DB1DB2DB3gradientoperatorgradi
15、entoperatorC3C4C2FPB1FPB2FPB3shareweightsDBFPBk3s1k3s1k3s1k1s1Avgpoolingconv11conv11upsample图 1所提网络结构Fig.1Structure of the proposed network1所提算法模型11网络模型所提网络模型结构如图 1 所示，主要包含编码器、融合层和解码器三部分 网络的输入为一对配准好的可见光图像 Ivi和红外图像 Iir，对网络进行端到端训练以生成融合图像 If2张宇苏，等:基于无监督深度学习的红外图像与可见光图像融合算法编码器的目的是提取输入源图像的特征 由于红外和可见光图像中的信
16、息非常不同，故对应两个特征提取路径采用不同的结构 密集结构有利于在融合结果中保留可见光的细节信息，这在之前的研究(DenseFuse)中已有验证 因此，将密集块(DBs)嵌入到可见光图像特征提取分支中 在该分支中，首先采用卷积核尺寸为 33、激活函数为 eLU 的卷积层 C1 提取可见光图像的浅层特征，而后通过级联 3 个 DB提取可见光图像的细粒度特征 对于红外图像，更多地关注边缘对应的特征有利于保留其显著性信息，故采用特征金字塔结构(FPBs)帮助网络提取红外图像中的多尺度特征 类似地，先使用卷积核尺寸为 33、激活函数为 eLU 的卷积层 C2 提取红外图像的浅层特征 随后，级联 3 个 FPB 来提取红外图像的深层特征 为了能使两个模态的信息保持潜在相关性，让两个特征提取路径进行信息交互，不仅能够预融合可见光梯度和红外强度信息，同时也可在下一次提取之前对信息进行补充和增强 因此，第二个 DB/FPB 与第三个 DB/FPB 的输入不仅取决于先前所有卷积层的输出，还取决于另一个特征提取路径中卷积层的输出 此外，利用跳跃连接将浅层特征连接至后面的卷积层以实现特征重用，减少卷积导致的