1、http:/DOI:10.13700/j.bh.1001-5965.2021.0221一种 FPGA 实现的复杂背景红外小目标检测网络周海1，2，3，侯晴宇4，*，卞春江1，2，3，冯水春1，2，3，刘一腾1，2，3(1.中国科学院国家空间科学中心，北京100190；2.中国科学院复杂航天系统电子信息技术重点实验室，北京100190；3.中国科学院大学，北京100049；4.哈尔滨工业大学航天学院，哈尔滨150001)摘要：红外（IR）小目标检测算法具有检测率高、虚警率低、实时性好等优点在红外遥感领域有重要的应用价值。由于复杂背景下小目标对比度低和信噪比（SNR）低，传统红外小目标检测算法难以
2、保证检测性能。在强鲁棒性的红外小目标检测网络（RISTDnet）基础上，面向更为多样的目标结构特征和更高的实时处理性能要求，提出一种增强型红外小目标检测网络（EISTDnet）与其基于现场可编程逻辑门阵列（FPGA）高性能并行处理的算法。EISTDnet 构造了手工特征算法与卷积神经网络相结合的多尺度小目标特征提取框架，采用多级展开思路对卷积核尺寸进行归一化设计，并通过数据深度复用和多维循环并行展开有效提高推理阶段实时处理性能。实验结果表明：采用单片 FPGA 实现的 EISTDnet 能够快速实时检测复杂背景下不同大小、低信噪比的小目标,与现有 5 种算法相比在 103低虚警率下平均检测率提
3、升 49.5%，与 RISTDnet 相比，在实时处理速度提高 1.33 倍的优势下，对低信噪比条状小目标检测率提升 29.4%，所提算法具有更好的有效性和鲁棒性。关键词：卷积神经网络；红外小目标；目标检测；现场可编程逻辑门阵列；实时中图分类号：V249.32+6；TP391；TN215文献标志码：A文章编号：1005-5965（2023）02-0295-16小目标检测在红外图像处理领域占有重要地位，特别是在遥感领域中具有较高的军民应用价值。而复杂背景下的低信噪比小目标检测是一项具有挑战性的任务，因为图像中的目标通常很小很弱并缺乏特定的形状、纹理和结构信息。近几十年来，许多红外小目标检测算法被
4、提出，算法主要包括单帧检测和多帧关联 2 个步骤。由于多帧关联往往是在单帧检测基础上进一步开展时域关联处理，因此，单帧检测算法对于复杂背景下弱小目标的检测能力更为关键。本文聚焦在红外小目标单帧检测算法的研究上，传统的单帧检测算法可分为两类：局部对比法（localcontrastmeasure，LCM）和非局部自相关法（nonlocalautocorrelationmeasure，NAM）。LCM 主要是通过定义一种合理的局部对比度来抑制背景和增强小目标。Chen 等1应用 LCM 来测量每个像素位置与其邻域之间的差异。Han 等2进一步考虑中心子块的均值估计来改进 LCM（improvedlo
5、calcontrastmeasure，ILCM），并通过增加窗口的滑动步长提高算法效率。Wei 等3提出一种基于多尺度图像块的对比度度量方法（multiscalepatch-basedcontrastmeasure，MPCM），利用每个位置像素与其相邻区域的灰度比作为真实目标对比度的增强因子。类似的LCM 还包括相对局部对比度度量（relativelocalcontrastmeasure，RLCM）4和多尺度改进的LCM（multiscalemodifiedlocalcontrastmeasure，MLCM）5。Han 等6联 合 比 值 和 差 值 的 局 部 对 比 度（ratio-dif
6、ferencejointlocalcontrastmeasure，RDLCM）来增强小目标并抑制背景。以红外块图像（infraredpatchimage，IPI）模型为收稿日期：2021-04-29；录用日期：2021-06-06；网络出版时间：2021-08-0914：32网络出版地址： J.北京航空航天大学学报，2023，49（2）：295-310.ZHOU H，HOU Q Y，BIAN C J，et al.An infrared small target detection network under various complex backgrounds realized onFPGA
7、J.Journal of Beijing University of Aeronautics and Astronautics，2023，49（2）：295-310（in Chinese）.2023年2月北京航空航天大学学报February2023第49卷第2期JournalofBeijingUniversityofAeronauticsandAstronauticsVol.49No.2代表的 NAM 利用目标的稀疏性和背景的低秩性将目标检测问题转化为最优化问题，然后通过求解目标函数来分离目标和背景7。IPI 存在的 2 个明显缺点是检测结果中目标形态的过收缩和噪声残留，主要原因是采用核范数作
8、为背景的低秩正则项。通过在 IPI 模型中引入更多的低秩矩阵恢复技术以获得更好的性能。Dai 等8提出非负约束的红外块图像模型和加权的红外块图像张量模型（reweightedinfraredpatchtensormodel，RIPT）9，同时采用不同形式的紧秩对传统 IPI 模型低秩正则项替换来解决背景残留问题。此外，Zhang 等10使用非凸秩逼近最小化联合范数，Zhou 等11联合应用 Schatten1/2 拟范数正则化和重加权稀疏增强来提高检测性能。传统检测算法通常仅采用手工制作的特征，其性能取决于特征选取的有效性。深度学习可以从大量的训练数据中自动学习特征，更有助于描述数据中丰富而独
9、特的信息。近年来一些基于深度学习的目标检测算法被提出，如 FasterR-CNN12、YoloV213、YoloV314、SSD15等。这些算法对纹理明显的大目标具有很高的检测性能，但由于红外小目标纹理特征并不十分明显，现有深度学习算法难以适用。针对现有检测算法的不足和应用对算法实时处理性能的需求，本文主要工作如下：以文献 16提出的强鲁棒型红外小目标检测网络（robustinfraredsmalltargetdetectionnetwork，RISTDnet）16为研究基础，面向更为丰富的目标结构特征和实时处理性能提升的需求，提出一种增强型红外小目标检测网络（enhancedinfrared
10、smalltargetdetectionnetwork，EIST-Dnet）；提出基于现场可编程逻辑门阵列（fieldprogrammablegatearray，FPGA）平台的 EISTDnet 高性能实时并行处理优化与实现算法；使用多幅测试图像对 EISTDnet 检测性能和实时处理性能进行了实验验证，并与其他检测算法进行了对比。1检测算法原理首先，利用 EISTDnet 计算目标似然图，似然图中的各像素值表征该像素属于小目标概率，然后，在目标似然图上设置阈值，进行阈值分割提取真实目标。RISTDnet 在复杂背景下对小目标已能够表现出较好的检测性能，但依然存在两方面不足：通过对更多复杂场
11、景下不同类型小目标进行测试，发现 RISTDnet 对部分呈现条状结构特征的低信噪比小目标检测能力偏弱，如图 1 所示的高分 5 号红外图像17；虽然能够在地面服务器中通过使用高性能 GPUNVIDIARTX2080Ti 获得较好的 RISTDnet处理性能，但在以空天飞行器为代表的算法应用场景中，受使用环境制约只能选用以 FPGA 为主的低功耗小体积嵌入式处理器，难以满足 RISTDnet 快速实时处理需求。针对上述问题，EISTDnet 在研究中重点通过 1.1 节和 1.2 节介绍的两方面优化策略对网络结构开展重新设计。1.1强化多尺度特征提取多尺度特征提取主要用于为复杂背景下的低信噪比
12、小目标获得足够数量的特征图。RISTDnet定义了 5 种特征提取尺度：33、55、77、99 和1111，并通过 15 种定权卷积核生成 15 幅特征图，如图 2(a)图 2(o)所示。这些定权卷积核在设计上均基于对图像中复杂背景和目标特性的研究而制定，以满足不同场景下有效特征提取。运算方式是以输入图像逐像素为中心，计算每个卷积核模板下邻域红色像素的平均值减去黑色像素的平均值，目的是提取小目标的对比度信息。图1低信噪比条状小目标示意图17Fig.1SmallstriptargetwithlowSNR17(k)1111(d)77(a)33(b)55(c)55(e)77(f)77(g)99(h)
13、99(l)1111(m)1111(i)99(j)99(n)1111(o)1111(p)55(r)99(t)1111(u)1111(w)1111(v)1111(s)99(q)77图2EISTDnet 定权特征提取卷积核Fig.2EISTDnetfeatureextractionconvolutionkernelwithfixedweight296北 京 航 空 航 天 大 学 学 报2023年EISTDnet 继承了 RISTDnet 特征提取定权卷积核对传统斑点状小目标提取能力，并针对复杂场景中更为丰富的条状小目标结构特征，新增 8 种定权卷积核，如图 2(p)图 2(w)所示。这些卷积核的结
14、果是以红色像素为中心，分别计算 4 种颜色条带的累加和，继而通过比较选出 4 个条带累加和中最大的那条，计算其与红色像素的平均值减去所有黑色像素的平均值，目的是增强不同方向下条状小目标对比度信息提取能力。1.2卷积网络轻量化卷积网络主要采用深度学习算法用于对小目标深度特征进行提取。由于卷积运算为 4 层循环乘加运算，计算量庞大，因而 EISTDnet 在设计时充分考虑了应用中处理器性能约束，采用卷积核尺寸归一化、归一化（batchnormalization，BN）层参数融合和特征映射层简化 3 种方法对卷积网络开展轻量化设计。1)卷积核尺寸归一化。RISTDnet 卷积核包括1111、77、5
15、5、33 和 11 这 5 种尺寸规格，差异较大。这在对卷积层并行实时计算时，难以对卷积核并行展开。并且由于 5 种尺寸中除 11 外互相之间不能整除，因此并行展开时无法选择出一个适用于各层的最优卷积核展开尺度，这会造成部分计算资源的浪费。EISTDnet 在设计中为提高实时处理架构并行展开能力，最大化利用处理资源，对较大卷积核采用多级小卷积核串联的方式予以优化，如图 3 所示。图3卷积核尺寸多级串联优化Fig.3Multi-stageseriesoptimizationofconvolutionkernelsize由图 3 可以看出一个 55 的卷积核可以替换成 2 级 33 的卷积核，此时
16、卷积权重个数由 25 降低至 18，同理对于 1111 和 77 卷积核可以分别替换成 5 级和 3 级 33 的卷积核，此时权重数量由 121和 49 分别降低至 45 和 27。优化算法在确保替换前后各卷积层感受野不变的情况下，大幅度降低了卷积核权重数，并将原有 33 尺度以上的卷积核归一化到 33，有利于选择处理架构最优并行展开尺度，提高计算效率。2)BN 层参数融合。BN 层主要是为在网络训练过程中解决梯度消失和梯度爆炸问题，同时提高泛化性能。BN 层计算涉及到高精度乘加运算，因而在 FPGA 实现时需要消耗大量计算时间与参数存储资源。由于 BN层在推理阶段参数已经完全固定，EISTDnet 设计中对 BN 层采用训练后与卷积层参数融合的方式降低推理阶段计算资源开销。设卷积计算为Y=WX+b（1）YWXb式中：为卷积层输出；为卷积核参数；为卷积层输入；为偏置。YbnWbWbBN 层与卷积层融合后输出依然可依照式(1)进行卷积计算，仅需对和 变量采用和 进行参数更新：W=2+W（2）b=+(b)2+（3）2式中：为尺度因子；为方差调整因子；为偏移因子；和为每个通道的平均值与方差。