1、第 卷 第 期 年 月大连交通大学学报 文章编号：（）基于 的有轨电车轨道小目标障碍物检测算法王运明，彭国都，周奕昂，李卫东（大连交通大学 自动化与电气工程学院，辽宁 大连；中车长春轨道客车股份有限公司 国家工程技术中心，吉林 长春）摘 要：城市有轨电车轨道障碍物的高精度、快速检测对保障城市有轨电车安全行驶具有重要意义。针对 算法检测轨道小目标障碍物精度较低的问题，提出了基于 的城市有轨电车轨道小目标障碍物检测算法。在 目标检测算法的基础上，设计低层双段反卷积模块，丰富低层特征层的语义信息，增加自适应注意力机制模块，生成具有更强语义信息和精确位置信息的低层特征预测层，修正先验框生成方式，缩小各
2、个特征层先验框的大小，增强轨道小目标障碍物检测的适应性。通过自制有轨电车轨道障碍物数据集进行训练与测试。结果表明：当 时，算法的 达到，检测速度为 ，相比 算法，该算法在保持高速检测的前提下，提高了有轨电车小目标障碍物的检测精度。关键词：城市有轨电车；小目标检测；双段反卷积；自注意力机制文献标识码：城市有轨电车是一种能提供高质量公共交通服务、降低交通拥堵、改善空气环境的低成本高效率的交通工具，未来将成为公共交通系统的新生力量。城市有轨电车主要采用人工驾驶的方式行驶在城市骨干道路中，与汽车、行人共同占用道路空间。然而，驾驶员受视觉盲区、精力不集中、突发情况等因素影响，难以准确观察电车轨道前方的障
3、碍物，尤其是行人、动物等小目标障碍物，容易引发交通事故，影响城市有轨电车行车安全。近年来，深度学习技术的快速发展，在计算机视觉领域得到广泛应用，大大提升了目标检测的精度，可为有轨电车前方小目标障碍物检测提供新的技术手段，对提高城市有轨电车行车安全具有重要意义。目前，基于深度学习的目标检测算法主要分为两类。一类是以、为主的基于区域的双阶段目标检测算法，该类算法具备检测精度高的优点，但检测速度较慢。文献在 算法的基础上，设计全局平均池化层替换全连接层，增加先验框数量，提高目标建议区域的精确性，提升了铁路侵限障碍物的识别能力，但实时性较差。另一类是以、为主的单阶段目标检测算法，该类算法不需要提前生成
4、真实的先验框，直接将目标边界框定位问题转换为回归问题，具有检测速度快的优点。文献在 的基础上，采用 算法聚类分析缺陷先验框的尺寸，提高轨道扣件缺陷的检测准确性和效率；刘力等针对 网络的先验框，采用欧式距离度量改进 算法的聚类中心选取方法，获得更加吻合实际检测对象大小的先验框尺寸，提升铁路侵限障碍物的检测精度。改进算法的检测精度仍低于 算法。张云佐等改进了 网络结构的网络宽度和网络深度，提升了铁路隧道漏缆卡具的检测精度；李兆洋等采收稿日期：基金项目：辽宁省教育厅基本科研资助项目（）；辽宁省科学技术计划资助项目（）；大连市科技创新基金项目（）第一作者：王运明（），男，讲师。：通信作者：周奕昂（），
5、男，硕士研究生。：第 期王运明，等：基于 的有轨电车轨道小目标障碍物检测算法 用 替换 的 网络，利用膨胀卷积扩大网络的感受野，提高高铁轨道扣件的检测精度；王焕民等提出了一种基于 的铁路信号灯检测算法，提升了铁路信号灯的检测精度和速度。上述 改进算法提取低层特征层的语义信息能力有限，致使铁路小目标障碍物的检测精度不高。为提高有轨电车轨道小障碍物的检测精度和效率，在 算法的基础上，本文提出了一种基于 的有轨电车轨道小目标障碍物检测算法。网络结构 城市有轨电车运行在与汽车、行人等共用的复杂城市主干道路上，前方经常出现各类障碍物，尤其是小目标障碍物，严重影响有轨电车的行车安全和行车效率。为提高有轨电
6、车检测前方障碍物的智能化水平，本文在 目标检测算法的基础上，设计双段反卷积模块，增加自适应注意力机制模块，建立了 网络结构模型，提升轨道小目标障碍物的检测能力。网络结构模型见图，图中 表示对特征层进行反卷积，表示通道级联融合，表示自注意力机制模块。图 网络结构模型 网络结构模型以 主干网络为基础进行设计。首先，设计双段反卷积模块（），替换 网络中用于检测小目标障碍物的、两层低层特征层，生成融合特征层、；其次，增加自适应注意力机制模块（），生成具有更强语义信息和更精确位置信息的、；最后，修正先验框生成方式，增强电车检测轨道小目标障碍物的适应性，提升小目标障碍物的检测精度。低层双段反卷积模块 深度
7、卷积网络的低层特征层包含丰富的特征信息，目标检测算法主要通过低层特征层检测小目标。算法在低层特征层的卷积次数较少，产生较少的语义信息，影响电车轨道小目标障碍物的检测效果。为增强 算法在低层特征层的特征表达能力，本文设计了低层双段反卷积模块，对、两层特征层分别进行反卷积操作，按照通道级联方式与前一层特征层进行融合。低层双段反卷积模块结构见图。图 低层双段反卷积模块结构 低层双段反卷积模块首先对 进行反卷积，得到与 大小、通道数均相同的，然后按照通道级联方式与 进行融合，得到；同理，对新生成的 进行反卷积，得到与 大小、通道数均相同的，再按照通道级联方式与 进行融合，得到。自适应注意力机制模块 网
8、络的各个输入特征层包含许多不同大小的向量，且向量之间存在一定的相关性。然而，在实际训练中，通常无法充分利用这些输入特征之间的相关性；同时，由于多尺度特征图的感受野大小不同，导致各个特征图包含的特征信息存在差异，造成生成的特征图无法充分反映不同尺度下空间特征的重要性。上述问题将导致模型预测结果出现偏移，影响训练效果，降低预测精度。因此，在低层双段反卷积模块新生成的、之后，增加 自适应注意力机制模块，自适应地调整融合特征层中的参数，更加关注对当前任务有意义的关键信息，生成、，提升新的小目标预测层中通道间的相关性和目标间的空间依赖关系。自适应注意机制包含通道注意力模块和空间注意力模块，见图。大连交通
9、大学学报第 卷（）通道注意力模块（）空间注意力模块图 自适应注意机制结构 通道注意力模块，以通道为单位，对低层双段反卷积模块中融合生成的特征图 分别做全局最大池化和全局平均池化，生成、，、，该过程可分别表示为：（）（）（）（）、传递到一个共享的全连接层。全连接层共包含两层，第一层全连接层神经元个数较少，第二层全连接层神经元个数和输入特征图通道数相同。对全连接层输出的两个长度为 的特征长条进行相加处理，并取，使其值固定在 ，得 到（），简 称（），（），该过程可表示为：（）（）（）（）最后，将（）乘以输入特征图。空间注意力模块以每个通道对应的点为单位，对（）分别做全局最大池化和全局平均池化，生
10、成 ()、()和 ()、()，()和 ()堆叠得到 ()。再对 ()特征图取卷积，卷积核的通道数为，生成一个大小为 的特征长条，特征长条取，使 值 固 定 在 ，得 到 （），简称（），该过程可表示为：（）（）（）最后，将该值分别乘以输入（），得到新的特征预测层。低层双段反卷积模块 算法采用默认先验框的方式，处理不同层的特征图，回归位置信息。算法以不同尺寸缩放每层特征层的先验框，即：（），（）式中：表示第 层先验框的大小相对于输入图片的比例；设置为。第一层特征层生成的先验框相对于输入图片的比例为，其他 层特征层生成的先验框相对于输入图片的比例分别为、.、，若输入图片大小为，则每层特征层生成长宽
11、比为 的先验框大小为、。默认边界框的长宽比为，当特征层为、时，、，每个特征单元生成 个先验框；当特征层为、时，、，每个特征单元生成 个先验框。根据长宽比 和默认边界框，计算每个边界框的宽度和高度，分别为 和 ，当默认边界框长宽比为 时，添加一个缩放为 的先验框。本文自制数据集的图片大小均缩放为，假设真实框宽为，长为，则真实框尺寸定义为 ，各尺寸范围的真实框数量统计结果见图。图 自制数据集尺寸分布 由图 可以看出，自制数据集中真实框的尺寸分布在，均为小目标障碍物，应根据真实框的变化范围设置先验框的尺寸。算法中原始先验框的生成方法在训练时易产生较大的回归偏差。因此，本文将第一层特征层先验框相对图片
12、的比例调整为；同时对先验框的生成公式进行修改，修改之后的公式为：（），（）则各层特征层生成的先验框相对于输入图片的比例分别为：、.，每层特征层生成长宽比为 的先验框大小分别为：、。第 期王运明，等：基于 的有轨电车轨道小目标障碍物检测算法 模型生成的先验框中负样本的数量远大于正样本数量，会导致模型收敛速度变慢、漏检率偏高。模型仍通过计算先验框和真实框的 区分正负样本，大于阈值为正样本，否则为负样本。模型按照正、负样本 的比例删除负样本中置信度低的先验框，保证训练过程中正负样本数量的均衡性。试验数据与试验结果分析 试验设置 试验采用分段衰减的方式调整学习率，初始学习率设置为，每训练 次学习率下降
13、为前一阶段的，当迭代次数达到 次后，学习率大小保持不变。选用 网络在 数据集上的训练权值作为本试验的预训练参数，设置训练集和测试集的比例为 ，为，为，为。本试验在 环境下的 深度学习框架开展训练和测试。自制数据集和评测指标 试验采用实地拍摄的电车轨道障碍物图片制作数据集。拍摄图片数量为 张，障碍物分为人、动物两类小目标，每类障碍物包含 张图片，预处理过程将图片大小调整为；通过对每张图片进行镜像操作达到数据集增广的目的，增广后的障碍物图片见图。图 数据镜像增广样本 最终数据集共 张图片，包含两类 个小目标障碍物。通过 中 标注工具，标注数据集中障碍物目标区域及其所属类别，生成相应的 文件，图片和
14、对应标注文件的存储格式与 数据集相同。为了更直观地衡量 算法检测有轨电车前方小目标障碍的能力，采用平均精度均值（）和每秒传输帧数（，即每秒处理图片数量）作为评价指标。平均精度均值 是所有类别平均精度 的平均值，平均精度 是综合数据样本中某个类别的精确率（，）和召回率（，）的评价指标。精确率指被正确检测的数量占全部检出数量的百分比，召回率指被正确检测的数量占全部标注数量的百分比。根据检测结果绘制纵轴为精确率，横轴为召回率的 曲线，曲线的面积为平均精度值，计算公式如下：（）（）试验结果与分析 为验证本文所提出的双段反卷积模块和自适应注意力机制模块对有轨电车小目标障碍物的检测效果，通过特征图可视化，
15、对比 在 和 算法在 输出的特征图，结果见图。图 两种算法在 层输出的特征图 由图 可以看出，算法在 特征层输出的可视化特征图中狗的空间特征较为模糊，说明 算法经过多层卷积后空间信息丢失明显，导致狗的特征逐渐抽象化；算法在 特征层输出的特征图中狗的空间特征更为清晰，说明采用双段反卷积模块和自适应注意力机制模块能够丰富低层特征图的语义信息和空间信息，有利于提高小目标障碍物的检测精度。同时，为验证本文针对小目标障碍物检测提出的先验框生成方式，在 训练集中分别对 算法和执行先验框改进操作的 算法（）进行训练，训练过程中损失函数 变化曲线见图。大连交通大学学报第 卷图 曲线对比图 由图 可知，迭代约
16、次后，算法与 算法达到收敛状态，算法的收敛值约为，算法的收敛值约为。说明修正先验框生成方式，提升了算法的性能，更适用于检测小目标障碍物。为评估 算法对城市有轨电车轨道小目标障碍物的检测性能，利用 算法和 算法在自制数据集上进行训练和测试，设置为，测试集中、三个指标的测试结果见表。表 两种算法的 测试结果模型人动物人动物人动物 由表 可知，算法的各项测试指标均高于 算法，检测人和动物两类小目标障碍物的 值均大于，值均大于，算法提高了电车轨道小目标障碍物的检测精度。为进一步验证本文所提出算法的优越性，将 算法与 、种先进的目标检测算法进行对比。其中，算法是对 的经典改进算法，提出了一种特征融合的方式，将 产生的不同尺度的特征图，利用双线性插值法变换为与 大小、通道数相同的的特征图，再按照通道级联的方式将多个特征图进行特征融合。所有用于对比的目标检测算法均在自制的城市轨道电车障碍物数据集上进行训练和测试。不同算法的 曲线见图，性能对比见表。图 各种目标检测算法的 曲线对比图表 不同算法的性能对比模型 人动物（）由图 可知，由于 网络模型更为复杂，在训练的初始阶段，算法的损失值高于、种算法，但