1、第40卷第2期2023年06月Vol.40,No.2Jun.2023阜阳师范大学学报(自然科学版)Journal of Fuyang Normal University(Natural Science)基于轻量化模型 YOLOv4-tiny 的目标检测改进张军1,郑黎明2,刘先禄2(1.安徽理工大学 人工智能学院,安徽 淮南 232000;2.安徽理工大学 机械工程学院,安徽 淮南 232000)摘要:针对实际场景中需要高速检测但硬件设备的处理器性能较弱,不能得到应有的检测效果的问题,本文以 YO-LOv4-tiny 作为框架,提出一种轻量化模型的方法。首先构建空间金字塔空洞卷积(Spatia
2、l-pyramid-dilation,SPD)模块,提取更多目标特征;其次减少跨级部分(Cross-Stage-Partial,CSP)模块的第二分支的一个 Concate,增加 11 卷积,降低网络的计算复杂度;最后将压缩激活(Squeeze-and-excitation,SE)模块置于 CSP 模块之前,提升检测性能,通过轻量化特征增强网络能够改善对小目标检测效果。实验结果表明,改进后的模型相较于原 YOLOv4-tiny,平均精确率提升了 6.3%,平均查全率提升了 3.9%,实现了 YOLOv4-tiny 的轻量化改进。改进后模型轻量化程度较大,能够实现高速检测,适宜在性能较弱的移动设
3、备上部署。关键词:YOLOv4-tiny;目标检测;通道注意力;轻量化;高速检测中图分类号:TP391.4文献标识码:A文章编号:2096-9341(2023)02-0058-08DOI:10.14096/34-1069/n/2096-9341(2023)02-0058-08Improvements in object detection based on the lightweight modelYOLOv4-tinyZHANG Jun1,ZHENG Liming2,LIU Xianlu2(1.College of Artificial Intelligence,Anhui Universi
4、ty of Technology,Huainan Anhui 232000,China;2.College of MechanicalEngineering,Anhui University of Technology,Huainan Anhui 232000,China)Abstract:Aiming at the problem that high-speed detection is required in the actual scene,but the processor performance ofthe hardware equipment is weak,and the det
5、ection effect can not be achieved,this paper takes yolov4-tiny as the framework,andproposes a lightweight model method.Firstly,constructing spatial pyramid void convolution(SPD)module to extract more tar-get features;Secondly,reduce one concate of the second branch of the cross stage partial(CSP)mod
6、ule and increase 11 convo-lution to reduce the computational complexity of the network;Finally,put the squeeze and activation(SE)module in front ofthe CSP module to improve the detection performance,through the lightweight feature enhancement network,it can effectivelyimprove the small target detect
7、ion.The experimental results show that the average accuracy and recall of the improved modelare increased by 6.3%and 3.9%respectively,compared with the original yoov4 tiny.The lightweight improvement of yoov4 ti-ny is realized.The improved model has a large degree of lightweight,can achieve high-spe
8、ed detection,and is suitable for de-ployment on mobile devices with weak performance.Key words:YOLOv4-tiny;object detection;channel attention;lightweight;high speed detection收稿日期:2022-06-13基金项目:国家创新方法工作专项(2018IM010500);安徽省科技重大专项计划项目(16030901012)。作者简介:张军(1963-),男,博士,教授,研究方向:机电液一体,Email:。张军,郑黎明,刘先禄:基于
9、轻量化模型 YOLOv4-tiny 的目标检测改进第2期张 军,郑黎明,刘先禄:基于轻量化模型YOLOv4-tiny的目标检测改进590引言随着智能时代的到来,视觉检测的相关研究越来越热门,目标检测也被广泛地应用在智慧交通、安防、军事、医疗等到众多领域1,在这些领域通常通过计算机视觉来采集图像,并在硬件设备上对采集的图像进行检测。因此需要将目标检测算法部署到硬件设备上,以便于在第一时间完成检测,帮助人们更快速测出所需的目标。在许多的实际应用场景中需要实现高速检测,但在目标检测算法的实际部署应用时还需考虑到硬件设备的处理器性能,大型的目标检测网络在性能较弱的处理器上的部署不能实现算法模型应有的检
10、测效果,在保证检测精度的同时还要轻量化模型是目标检测的难点问题和研究热点2。近年来,随着深度学习的不断发展,目前有许多的目标检测算法3,但同时期的一阶段检测器虽然在检测精度上稍弱于两阶段的检测器,但是在检测速度上具有明显的优势,如单网多尺度检测器(Single Shot MultiBox Detector,SSD)和 YOLO(You only look once)等一阶段4能够实现实时检测,但考虑到硬件设备的处理性能,最终决定研究两阶段目标检测器 YOLO 系列的轻量化模型YOLOv4-tiny,在保证其检测速度较快、参数量较小的前提下进行改进,使其能够在低端处理器的移动设备上部署,更好的服
11、务于工程实际应用。1改进的模型检测方法1.1YOLOv4-tiny 模型结构YOLOv4-tiny 是 YOLOv4 模型5的轻量化版本,YOLOv4 拥有更高的检测准确率。但 YO-LOv4 的网络模型较为复杂,参数量也较大,使得一般的 GPU 无法完成 YOLOv4 网络的正常训练。鉴于其在训练时需要消耗大量的计算资源,同时在实际部署时对设备的要求也较高,在很多的实际应用场景中不能很好适配,故本文的研究对象为 YOLOv4 的轻量化版本 YOLOv4-tiny。YOLOv4-tiny 通过牺牲检测精度换取了检测速度,通过精简 YOLOv4 当中的一些网络结构,将检测头数量从三个减少到两个,
12、且 YOLOv4-ti-ny 拥有很少的网络参数量,仅为 YOLOv4 的十分之一。YOLOv4-tiny 拥有更浅的网络和更快的检测速度,是专门为边缘设备,移动端设备以及针对处理器较弱的场景下而专门设计的轻量化版本,十分有利于实际应用部署,其网络结构如图 1 所示:输入CBLCBLCBLCSPBlockCSPBlockCSPBlockMaxpoolMaxpoolMaxpoolCBLCBLCBLCBLContactConvConvConvConvBNLeakyBase LayerCBLCBLCBLContactContact上采样Yolo HeadYolo Head图 1YOLOv4-tiny
13、 网络结构为适应轻量化需求,YOLOv4-tiny 的网络结构相较于 YOLOv4 设计得更为简洁,主干网络部分主要由卷积模块 CBL6,卷积组模块 CSPBlock和最大池化层 Maxpool 组成,网络总共有 61 层,拥有两个检测分支,分别对应大目标和小目标的检测任务。1.2YOLOv4-tiny 算法改进YOLOv4-tiny 作为 YOLOv4 的轻量化版本,其检测速度非常快,但同时由于删减了 YOLO v4模型当中的许多结构,导致其检测精度远低于YOLOv4,为了实现在实际检测过程中能够在保证网络模型足够小的前提下拥有更好的检测效果,需要对 YOLOv4-tiny 进行相应的改进升
14、级,使其在保证模型参数量足够小的同时提升检测精度,使得改进后的 YOLOv4-tiny 模型在实际部署应用中能够取得更好的检测效果。1.2.1空间金字塔空洞卷积 SPD 模块设计YOLOv4 模型在主干网络 CSPDarknet53 之后添加了一个空间金字塔池化7(Spatial PyramidPooling,SPP)模块,以下简称 SPP,利用最大池化操作来扩大网络的感受野8,提高网络的检测能力,SPP 模块的结构如图 2 所示。最大池化操作可以起到降低模型参数量9,减少计算代价,降低网络优化难度,增大感受野,降低信息冗余的作用,故由最大池化构成的 SPP 模块能够有效提升网络的检测性能。但
15、最大池化操作有一个缺点是其只会提取特征图中反应最强烈的部分,容易忽略网络中的一些有用的特征图信第40卷阜阳师范大学学报(自然科学版)60息,造成细节信息的丢失。Maxpool 5 5 Maxpool 9 9 Maxpool 13 13 Concate输入图 2SPP 模块结构为解决上述问题,本文设计了一种全新的SPD 模块。通过使用设置不同的空洞卷积构成SPD 模块,实现减少网络参数量的前提下扩大网络感受野,将更多的目标特征信息传递到下一层,SPD 模块的结构如图 3 所示。Dilation2Dilation3Dilation5Concate输入图 3SPD 模块结构图如图所示的 SPD 模块
16、与 SPP 模块在结构上类似,与 SPP 模块使用最大池化操作来扩大感受野不同,SPD 模块使用的是空洞卷积来提取网络中目标的特征信息并扩大感受野。通过设置空洞卷积组的空洞卷积率能够做到扩大感受野10而不丢失特征图中的目标信息,使得其能够保证将尽可能完整的特征信息传递到下层,有利于提高目标检测的准确率。1.2.2CSP 模块的重新设计YOLOv4-tiny 的 CSP 模块来源于 YOLOv4的残差 CSP 模块,考虑到模型的大小限制,故在YOLOv4-tiny 网络中的 CSP 模块是经过简化后的结构,同时由于简化导致了 YOLOv4-tiny 主干网络的特征提取能力较弱,检测能力不强。CSP 残差模块结构相较于传统的残差结构再特征提取方面效果更好,因此,在保证 CSP 模块的基本结构不变的前提下,重新对 YOLOv4-tiny的主干网络中的 CSP 模块进行再设计,以提高网络的检测能力,重新设计后的 CSP 模块的结构如图 4 所示。Base layer分支1CBL11 分支2CBL11 CBL33 CBL33 Concate图 4改进 CSP 模块结构由于重新设计的 CSP 模块