1、 （）年 第 卷 第 期 收稿日期：基金项目：国家重点研发计划项目（）；重庆市技术创新与应用发展专项重点项目（）；川渝联合实施重点研发项目（）作者简介：邓天民，男，博士，教授，主要从事交通大数据与交通环境感知研究：；通信作者 王丽，女，硕士研究生，主要从事交通环境感知研究，：。本文引用格式：邓天民，王丽，刘旭慧 基于注意力及特征融合的红外行人检测算法 重庆理工大学学报（自然科学），（）：，（），（）：（）基于注意力及特征融合的红外行人检测算法邓天民，王 丽，刘旭慧（重庆交通大学 交通运输学院，重庆）摘 要：针对红外图像行人检测算法中复杂背景行人误检率高、密集行人检测精度低以及远景小目标行人漏检
2、等问题，提出了一种基于注意力及特征融合的红外行人检测算法（，）。提出了一种注意力特征提取模块（，），融入网络主干部分，抑制无关背景信息，加强关键特征信息的提取。设计了一种多尺度特征融合模块（，），嵌入网络颈部部分，实现不同尺度间特征信息的有效融合，增加大尺度检测层，加强目标检测器对远景小目标行人的特征提取能力。在 数据集做验证实验，结果表明：取得了 的平均精度，相比于基线算法 提高了 ，具有更好的表现，对红外图像行人的检测效果有明显提升。关 键 词：目标检测；红外行人检测；注意力机制；多尺度特征融合；多尺度特征检测中图分类号：文献标识码：文章编号：（）引言行人目标检测作为先进驾驶辅助系统和智能
3、汽车领域的关键技术之一，是计算机视觉领域的研究热点，与可见光成像相比，红外成像不易受光照及恶劣天气环境的影响，依靠检测目标和检测背景之间的温差和辐射频率差进行检测，识别伪装目标能力优于可见光成像，具有一定的真伪辨别的能力，红外成像对夜间及恶劣气候的环境适应性远远强于可见光成像，可以为行人检测提供全天候的数据。基于深度学习的目标检测方法具有强大的自适应能力和特征提取能力，越来越多的学者开始使用深度学习的方法来检测红外图像中的行人，目前，基于深度学习的红外图像行人检测算法主要分为两类：）两阶段检测算法：此类算法需要先生成预选框，然后对预选框进行回归和分类。典型算法有、等。如车凯等针对红外图像行人目
4、标细节少，提取特征的计算量大等问题，结合 提出了一种自适应的 区域提取算法，在保证红外图像行人识别准确率的同时适当减少网络所生成的 区域的数量，大幅降低了计算量，加快了红外图像行人检测的速度；然后选取 种不同尺度的先验框计算其置信度，对结果的坐标进行加权。该特征融合算法较大程度提升了红外图像中行人检测的可靠性和准确性。两阶段检测算法虽然准确率高，但存在计算量大、运算速度慢等缺点，不能满足红外图像行人检测实时性的要求。）一阶段检测算法：此类算法不生成预选框预测物体的位置与类别，典型的算法有（）系列算法 以及单击多盒检测器（，）等。一阶段检测算法提高了红外图像行人检测的速度，促进了红外图像行人检测
5、技术的发展，如 等针对夜间拍摄的远红外图像中的行人检测问题，将 和自适应布尔图构建的显著性特征图的先验特征结合起来，使行人目标具有比背景更高的显著性，在远红外图像数据集上获得了有竞争力的结果，并且检测速度远快于其他检测算法；王殿伟等针对 网络对红外视频进行行人检测时存在漏检率高、精度低的情况，提出了一种改进 的算法。首先对候选框进行聚类分析，采用不同分辨率的图像对训练过的网络进行微调，并使用不同尺寸的图像对网络进行训练，通过实验对比分析，该方法在红外图像行人检测上取得了良好的效果。针对红外图像行人检测算法中复杂背景行人误检率高、密集行人目标检测精度低、远景小目标行人漏检等问题，以及红外图像行人
6、检测算法需要较高检测速度的需求，本文首先结合高效通道注 意 力（，），提出意力特征提取模块（，），以此来抑制无关背景信息，加强关键特征信息的提取；其次，结合感受野模块（，）设计了多尺度特征融合模块，实现不同尺度间特征信息的高效融合，提升密集行人目标的检测精度；最后，增加检测层，提取小目标行人的关键信息，加强目标检测器对远景小目标的特征提取能力。目标检测算法本文以 算法为基准，提出了基于注意力及特征融合的红外行人检测算法（），通过提出的注意力特征提取模块、多尺度特征融合模块 以及四尺度特征检测方法来提升基准模型 在红外行人目标检测任务中的表现，整体结构如图 所示，在主干网络（）中融入由残差网络及
7、高效通道注意力 级联而成的注意力特征提取模块，能有效抑制红外图像中无关背景信息的干扰，提高基准算法的特征提取能力和检测效率；在 中嵌入多尺度特征融合模块，中引入感受野模块，具有不同尺寸卷积核以及不同空洞率的空洞卷积，将两者进行级联组合，能够有效融合不同尺度间的特征信息，获得红外图像中不同尺寸的局部特征信息，同时增大路径聚合网络（，）中模型的感受野，有效提升密集行人目标的检测精度；最后，改进基线算法预测端，增加大尺度检测层，采用 种不同尺寸的特征图来检测不同大小的红外图像行人目标，强化目标检测器对远景小目标的表征能力，提高红外远景小目标检测准确率。图 网络 注意力特征提取特征提取网络中，图像经过
8、多层卷积后，提取出目标特征位置信息与语义信息，对于复杂背景下的红外图像，目标检测器由于受到无关背景信邓天民，等：基于注意力及特征融合的红外行人检测算法息的干扰，即使经过了多层卷积，也很难提取到目标的重要特征信息。通道注意力机制能根据学习到的注意力权重进行加权处理，对相关性低的特征信息给予较低的权重，否则给予较高的权重，以此削弱图像中不重要的背景信息的干扰，分离出重要信息。然而，现有通道注意力机制为实现更好的性能，大多致力于开发更复杂的注意模块，不可避免地增加了模型的复杂度，高效通道注意力模块 能够有效避免维度缩减，实现一种不降维的局部跨通道交互策略，并能自适应地选择一维卷积核的大小，提升性能的
9、同时降低了模型的复杂度。红外图像中背景相对复杂，为更好地提取红外图像中行人目标的特征信息，弱化无关背景信息的干扰，本文结合残差网络及高效通道注意力，提出了一种用于红外图像行人特征提取的注意力特征提取模块，如图 所示。图 注意力特征提取模块 注意力特征提取模块 中，输入网络的特征图首先分为了 个分支，一个分支经过了多个残差结构堆叠和 个标准卷积层，另一个仅经过一个基本卷积模块，将 个分支进行 操作，该模块是对残差特征进行学习的主要模块。在不降低维度的情况下，将过 操作后的特征输入 中，进行全局平均池化（，）操作，得到 的全局描述特征，增强关键信息的特征提取能力。在此基础上，执行大小为 的快速一维
10、卷积 来进行特征提取，实现局部跨通道交互学习，并采用函数生成每个通道的权重比，对相关性较高的特征信息赋予较高的权重，否则赋予较低的权重。最后，将原始输入特征与通道权重结合，得到具有通道注意力的特征。以此削弱图像中不重要的背景信息的干扰，分离出重要信息。残差结构可以有效避免特征网络中深度过深导致的梯度消散问题，结合，能够进一步聚焦于图像的判别性区域，从而提升特征网络的整体性能。其中 与通道维数有关，表示局部跨通道交互的范围，通道维数越大，交互的范围就越大。通过与通道维数相关的函数自适应确定 值，即：，（）式中：表示通道数；为距离 最近的奇数；和 为超参数。运算表示为：（）（）（）多尺度特征融合路
11、径聚合网络 自下向上传递目标位置信息，将强位置特征从浅层传递到深层，使得网络底层信息更容易传递到高层顶部，缩短了信息传播路径，同时利用低层特征的精准定位信息，其中 结构由 个 模块和 模块构成，增加特征图信息，提高模型学习目标中心位置信息的能力。人类视觉系统中，对于同一幅图像的不同区域，视网膜的敏感程度不同，在注视区域中心，视觉敏感程度最高，在外围区域，敏感度远低于注视中心，可以突出注视区域的信息。受人类视觉感知系统的启发，感受野模块 考虑视觉感受野大小和偏心率之间的关系，模拟人类的视觉感知，以扩大网络模型感受野，提取到网络中的高判别性信息。红外图像中行人目标中心位置信息很重要，基于此，将基线
12、算法的路径聚合网络中每个参数和最后预测的、与 特征层的 模块与 组合，构成多尺度特征融合模块（，），如图 所示，将 模块输出特征图输入 中，对特征图进行 卷积操作来减少通道数，并分别进行 、和 卷积运算以模拟不同尺度的感受野，在输入至空洞率为、的 空洞卷积层后，将这些不同感受野特征进行融合，以提升红外图像中不同尺寸行人的细节纹理特征。最后，结合输入特征图与感受野扩展融合后的特征图，输送至网络结构的目标预测模块。利用不同大小感受野的卷积核捕获特征图中大量特征信息，以此来获得网络结构中不同尺寸的局部特征信息，有效融合不同尺度间的特征信息的同时，增大路径聚合网络中模型的感受野，提升感受野中心低层特征
13、的重要性，进而提升整体网络的检测精度，更有利于检测红外图像行人这类中心位置信息重要的目标。图 多尺度特征融合模块 四尺度目标检测红外图像中行人特征提取的丰富性和具体程度与其占用的像素尺寸基本成正比，而远景红外图像中行人目标所占的像素尺寸小，基线算法中的下采样倍数比较大，很难从较深的特征图中学习到远景小目标的特征信息，基线算法中的三尺度目标检测难以满足红外图像远景行人小目标的检测输出，导致整体检测精度下降，故在基线算法基础上增加上采样次数，使得特征图继续扩大，利用更低层的特征信息，增加了特征层之间的互补性。四尺度目标检测如图 所示，采用 个不同尺度（，和 ）的特征图来进行红外图像行人检测，增加上
14、采样次数后，得到一个含有更多细节信息的大尺度特征图，更多的语义信息将被利用，也能从网络中较低层的特征映射图中获得检测目标更细粒度的信息，增强模型对远景红外图像行人小目标特征的敏感度，提升网络对行人小目标的检测能力。图 四尺度目标检测 实验 实验环境本文实验软、硬件平台配置如表 所示。表 实验平台配置配置名称版本参数操作系统 计算平台 深度学习框架 数据集本文实验在 数据集上进行，该数据集采集于美国加州圣巴巴拉的街道和高速公路，数据集中包含雨、雾等多种气候变化，以及 日间图像和 的夜间图像，背景有城市、山脉、隧道等，图像背景相对复杂，且该数据集的场景中行人目标受到不同程度的遮挡，加大了检测的难度
15、。数据集中包括 个类别标签：、以及，本文实验剔除无关标签信息，仅保留所需的 标签，在剔除无效数据以及多余标签图像后剩余 张图片，并将数据集分为训练集 张、验证集 张和测试集 张。评价指标本文实验只包括一个类别，故采用平均精度（，）及每秒检测图片的帧数（，）来评估 算法邓天民，等：基于注意力及特征融合的红外行人检测算法的性能，值是指 曲线围成的面积，用于评价目标检测算法的检测性能，左下方的面积越大，值越高，表示算法对该数据集的效果越好；指每秒检测图片的帧数，用于评价目标检测算法的检测速度，值越大，表明算法检测速度越快，在计算 之前需要先计算准确率（）及召回率（），计算公式如下：（）（）计算公式如
16、下：（）（）式中：表示 曲线面积；表示正确检测框数量；表示误检框数量；表示漏检框数量。实验结果与分析 实验结果实验过程中模型参数设置如表 所示。表 实验参数设置参数值动量系数 学习率 权重衰减 迭代次数 实验结果如图、图、图 所示，从图 中可以看出，相较于基线算法，算法的总损失值明显降低，且拥有更快的收敛速度，充分表明 算法能够有效减少预测框与真实框之间的差距，更加精准地回归预测框取得了较好的训练结果；由图、图 可知，相较于基线算法，算法的召回率以及检测精度均有提升，可以看出，算法在整体性能上优于基线算法。对比实验结果与分析为验证 算法对红外图像行人目标的检测性能，在 数据集上与两阶段目标检测算法 以及一阶段目标检测算法、的 值和检测速率进行对比，结果如表 所示。图 总损失函变化曲线图 召回率变化曲线图 变化曲线表 数据集实验结果 算法 （）（）从表 可以看出，与其他先进算法相比，算法的综合性能最优，对比 数据集的 值可以看出，算法取得了.的最高平均检测精度，相比基线算法，值提升了 ；对比 数据集的 值可以看出，算法检测速度虽然低于最高的基线算法，但其检测速度远高于其他常用红外图像行
