1、文章编号:1009-6094(2023)02-0397-09融合 YOLOv5ResNet 级联网络的烟火检测方法*张全1，2，3，张伟1，杨先凤1，彭博1，3，刘书妍1，3(1 西南石油大学计算机科学学院，成都 610500;2 电子科技大学信息与通信工程学院，成都 611731;3 油气藏地质及开发工程国家重点实验室(西南石油大学)，成都 610500)摘要:火灾产生的烟雾和火焰对人类生命财产及安全会造成严重威胁。针对现有烟火检测算法在实际工业应用中无法满足高检测率、低误报率以及高实时性的检测需求，提出了一种融合 YOLOv5ResNet 级联网络的烟火检测算法。首先，为了提高 YOLOv
2、5 检测网络对烟火目标的检测性能，尤其针对小目标烟火，通过增加注意力机制模块、小目标尺度检测层、Focal Loss 损失函数的方式改进 YOLOv5 目标检测网络;然后，为了降低误检情况的发生，将检测到的烟火目标进行阈值筛选，筛选后的烟火目标增加部分背景信息后送入ResNet34 分类网络，剔除非烟火目标;最后，通过综合分析连续多帧检测结果和烟雾面积变化情况，进一步降低误检的发生。结果表明:融合 YOLOv5ResNet 级联网络的烟火检测算法，在 29 个烟火视频的查全率为 99.38%，漏检率为0.62%;在 45 个非烟火视频的误检率约为 0.001 6%，在所有测试视频的平均检测速度
3、为 51.67 帧/s，YOLOv5ResNet级联网络算法检测精度较高，检测速度较快，误检率低，可满足实际的大规模复杂工业场景下检测任务，综合性能优于现有的其他火灾检测算法。关键词:安全工程;烟火检测;目标检测;YOLOv5;级联网络中图分类号:X932文献标志码:ADOI:10.13637/j issn 1009-6094.2021.1645*收稿日期:20210923作者简介:张全，讲师，博士，硕士生导师，从事深度学习、目标检测、并行计算等研究，zhangquan swpuedu cn。基金项目:油气藏地质及开发工程国家重点实验室开放基金项目(PLN202121，PLN202125)0引
4、言火灾发生时，燃烧产生的烟雾会使人窒息，火焰会烧毁物体并对人体造成伤害，严重时还会危及生命。一般情况下，火灾发生前期烟雾的出现会先于可见火焰，故烟雾检测对于火灾的预防工作极为重要。但是在某些情况下，烟雾一闪即逝，烟雾信息不明显，所以还需要对火焰信息进行检测才能够有效预防火灾。因此，及时准确地检测到烟雾、火焰目标并发出报警信息，在消防安全领域具有重要意义1。早期的烟火检测方法多是利用烟雾传感器、温度传感器等为主的硬件设备。基于传感器的烟火检测方法耗费资源，检测空间有限2 3。传统的图像处理方法主要是利用火焰及烟雾的颜色、轮廓、运动信息等物理特征进行检测。2014 年，Kim 等4 建立了一种 R
5、GB 颜色模型，提高了火灾的检测效果，但该方法稳健性和泛化能力不足。由于传统图像处理方法检测速度慢，误检率高，泛化能力不足，已不能满足实际工业需求5。近年来，随着深度学习的发展，基于深度学习的烟火检测方法已逐步成为主要的火灾检测方法6。2018 年，Zhang 等7 提出了一种基于 Faster RCNN 的烟雾检测方法，该方法具有较好的检测精度，但检测速度较慢。2020 年，杜立召等8 提出了一种双网融合的分阶段烟雾检测算法，该方法对烟雾的检测精度较高，但忽略了火焰目标在火灾中的作用。罗小权等9 提出了一种改进的YOLOv3 火灾检测方法，提高了火灾检测的准确率和速度，但该方法误检率较高不能
6、满足实际工业需求。综上所述，基于深度学习的烟火检测方法，在实际工业应用中仍存在检测精度低、速度慢的问题，尤其在大规模监控视频系统中，由于监控视频来源较多、工业场景复杂、监控时间长等原因，算法误检导致的误报警情况较多，严重影响正常的工业生产。鉴于此，本文提出一种融合 YOLOv5ResNet级联网络的烟火检测算法，对烟火目标进行检测，然后将通过置信度阈值筛选的目标图像送入 ResNet34分类网络，最后进行多帧检测分析，以期在保证检测精度和实时性的前提下大幅度降低误检情况的发生，满足实际工业应用需求。1算法原理1.1ResNet深度残差网络(Deep Residual Network，ResNe
7、t)10 在 2015 年 ImageNet 比赛中获得了图像分类和物体识别任务的冠军。残差网络特点是内部的残差块使用跳跃连接，残差块结构见图 1，这种残差结构有效缓解了在深度神经网络中增加深度带来的梯度消失问题。1.2YOLOv5YOLOv5 是目前 YOLO 11 13 系列较新版本，根据模型权重可将其划分为 YOLOv5s、YOLOv5m、YOLOv5l 和793第 23 卷第 2 期2023 年 2 月安全 与 环 境 学 报Journal of Safety and EnvironmentVol 23No 2Feb，2023YOLOv5x 4 种。其中 YOLOv5s 模型网络深度和
8、宽度最小，检测速度最快。本文选用 YOLOv5s 模型作为检测网络，网络结构见图 2，该结构主要分为主干网络、瓶颈层、输出层三部分。其中，d 表示维度，na表示预测框的数量，nc为待预测的类的数量。图 2YOLOv5s 网络结构Fig 2YOLOv5s network structure主干网络包括焦点层、卷积层、C3 层、SPP 层，其中，焦点层是通过切片操作，降低模型的计算量，减少层数，提高推理速度;C3 模块是借鉴跨局部连接网络 CSPNet 的思想，获取特征信息更加丰富的特征图。SPP 为空间金字塔池化层，经过 4 个不同kernel_size 的最大池化层进行下采样，然后再进行拼接融
9、合。瓶颈模块是将特征进行融合，然后传递到输出端，包含 FPN+PAN 的结构。FPN 是自顶向图 1残差块Fig 1Residual Block下传递特征的结构，利用上采样的方式对信息进行传递融合，获得预测的特征图。PAN 采用自底向上的特征金字塔，增强网络特征融合的能力。YOLOv5网络的输出模块包括 Bounding box 损失函数和非极大值抑制(Non-Maximum Suppresion，NMS)，并使用GIOU Loss 作为损失函数。2烟火检测方法2.1整体框架设计目前已有的烟火检测方法，在检测图像帧数较多时，由误检导致的误报警情况严重，影响正常的工业生产。针对这一情况，提出了一
10、种融合 YOLOv5ResNet 级联网络的烟火检测算法，算法流程见图 3。步骤 1:读取监控视频图像。步骤 2:将当前帧图像传入已训练好的改进的YOLOv5 烟火检测网络，得到烟雾、火焰目标的坐标信息、类别、置信度。步骤 3:置信度阈值筛选，当 YOLOv5 网络检测到的目标置信度0.75 时，认为误检概率较低，检测结果是可信的，不需要进行二次分类判断就可以直接显示检测结果;否则，认为 YOLOv5 检测到的目标会有误检的可能，需要做进一步的判断。步骤4:根据 YOLOv5 检测结果得到的坐标信息截取目标图像。通过坐标信息直接截取目标，可能会导致图像较小、图像缺乏上下文信息等问题，影响893
11、Vol 23No 2安全 与 环 境 学 报第 23 卷第 2 期图 3烟火检测算法流程图Fig 3Flow chart of smoke and flame detection algorithm分类网络精度。因此，如果截取的目标像素小于100 pt，对该目标长和宽分别扩充 30 pt，再送入ResNet34 分类网络。步骤 5:通过 ResNet34 分类网络进行二次检测。如果分类网络预测结果是“火灾”，则分类网络预测当前帧图像存在烟火目标，继续进行下一步多帧分析。否则，即分类网络预测结果是“正常”，则分类网络预测当前帧图像中没有烟火目标，属于正常背景图像，不发出火灾报警信号，结束当前帧图
12、像的检测，读取下一帧图像。步骤 6:多帧分析。通过多帧视频分析策略，如果分析结果为“火灾”，则显示检测到烟雾或火焰目标，并发出报警信息。否则，结束当前帧图像的检测，读取下一帧图像。2.2多帧分析火灾是一个具有连续性的事件，如果单独分析某一帧图像，无法得出准确的判断结果，因此，需要对连续的多帧视频图像进行综合分析，以得到更加准确的判断。设计了不同的多帧视频分析策略:1)判断连续 5 帧图像是否均检测到烟雾或火焰目标;2)判断连续 25 帧中是否存在大于或等于 20 帧的烟火图像;3)判断连续 125 帧中是否存在大于或等于 100帧的烟火图像。选择不同帧数的图像进行分析时，烟火检测方法的时效性、
13、漏检率、误检率均不相同。一般情况下，帧数越多，时效性越差、漏检率越高，误检率越低;反之，帧数越少时，时效性越好、漏检率越低，误检率越高。根据试验结果以及实际场景需要，选择策略 1)，判断连续 5 帧图像是否均检测到烟雾或火焰目标。烟雾目标是非刚性物体，且有丰富的运动信息。通过分析连续 5 帧中的烟雾目标的面积变化情况，降低静态物体产生的误检，进一步提高烟火检测算法的精度，计算过程如下。=(Si S)25(1)式中 为连续 5 帧中烟雾目标面积的变化程度，越大，烟雾波动越剧烈，当 =0 时，目标为静态物体，分析结果为“静态”，反之，则为“运动”;Si为前5 帧中第 i 帧的烟雾目标面积;S 为5
14、 帧中烟雾目标面积平均值。当连续 5 帧图像烟雾目标面积变化分析结果为“运动”，则认为多帧视频分析结果为“火灾”，系统显示 YOLOv5 检测结果，并发出报警信息。否则，系统不发出报警信息，结束当前帧图像的检测，读取下一帧图像。2.3YOLOv5 的改进为了进一步提高烟火检测效果，提出了一种在复杂场景下保持低误检率的 YOLOv5 算法。2.3.1CBAM 注意力机制现阶段烟火检测算法在复杂场景中烟雾、火焰的检测精度低。为了提高模型检测效果，使网络模型在训练时可以重点关注目标区域，在 YOLOv5 网络中 引 入 注 意 力 机 制 模 块(Convolutional BlockAttenti
15、on Module，CBAM)14，CBAM 包含了空间注意力机制和通道注意力机制。首先，网络模型通过卷积层获取输入数据的特征图，然后经过通道注意力模块和空间注意力模块，二者的先后顺序没有固定要求，本文试验中先经过通道注意力模块再经过空间注意力模块的检测精度最好。2.3.2多尺度检测改进进行特性提取时，网络浅层位置的特征图较大，包含更多的位置信息;深层位置的特征图包含更多的语义信息。因火焰、烟雾目标为非刚性物体，且目标大小变化较大。针对检测网络存在的小目标情9932023 年 2 月张全，等:融合 YOLOv5ResNet 级联网络的烟火检测方法Feb，2023况，需要在 YOLOv5 网络中
16、增加小目标检测层，将原3 尺度检测拓展为 4 尺度检测，增强检测网络对浅层特征信息的学习能力，以提高其对小目标烟火的检测效果。2.3.3损失函数为避免目标检测网络存在的正负样本不均衡问题，将 焦 点 损 失(Focal Loss，FL)函 数15 引 入YOLOv5 网络中，采用该损失函数训练模型时能够减少易分类样本所占的权重，使得模型在训练时专注于难分类样本，进而增强模型对困难样本的识别能力，焦点损失函数计算过程如下。F(Pt)=t(1 Pt)ln(Pt)(2)式中Pt为不同类别的分类概率;为平衡因子，其作用是为了平衡样本数量，一般取 0，1之间的小数;当 =0 时，焦点损失函数等价于交叉熵损失函数。一般而言，当 增加时，需要减小一点，随着 逐渐增加，样本中难分类样本所占的权重也随着增加，试验中 =2、=0.25 的效果最好。表 1试验测试环境Table 1Experimental test environment测试环境测试环境参数硬件Intel(R)Xeon(R)Silver 4114 CPU 2.20 GHz;内存 128 GB;Tesla V100 4;显存 16 B 4软件
