1、基于轻量化神经网络的社交距离检测王林,张江涛(西安理工大学自动化与信息学院,西安710048)通信作者:张江涛,E-mail:摘要:保持安全社交距离是有效防止病毒传播的重要手段之一,不仅可以减少感染者数量和医疗负担,同时也极大降低死亡率.在 YOLOv4 框架基础上使用轻量化网络 E-GhostNet 代替原网络中的 CSPDarknet-53,E-GhostNet网络在输入数据和原始 Ghost 模块生成的输出特征之间建立关系,使网络能够捕获上下文特征.然后,在 E-GhostNet中引入坐标注意力机制(CA)增强模型对有效特征的关注.另外,使用 SIoU 损失函数更换 CIoU 损失获得更
2、快的收敛速度和优化效果.最后,结合 DeepSORT 多目标跟踪算法来检测和标记行人,并使用仿射变换(IPM)判定行人间距离的违规行为.实验结果显示,该网络检测速度为 40FPS,精度值达到 85.71%,相比原始 GhostNet 算法提升2.57%,达到实时行人距离检测的效果.关键词:YOLOv4;DeepSORT;社交距离;E-GhostNet;轻量化网络;目标检测引用格式:王林,张江涛.基于轻量化神经网络的社交距离检测.计算机系统应用,2023,32(2):128138.http:/www.c-s- Distance Detection Based on Lightweight Neu
3、ral NetworkWANGLin,ZHANGJiang-Tao(SchoolofAutomationandInformation,XianUniversityofTechnology,Xian710048,China)Abstract:Maintainingasafesocialdistanceisoneoftheimportantmeanstoeffectivelypreventthespreadofthevirus.Moreover,itcannotonlyreducethenumberofinfectedpeopleandeasethemedicalburdenbutalsogrea
4、tlylowerthemortalityrate.Onthebasisoftheyouonlylookonceversion4(YOLOv4)framework,thelightweightnetworkE-GhostNetisusedtoreplacetheCSPDarknet-53intheoriginalnetwork.TheE-GhostNetnetworkestablishesarelationshipbetweentheinputdataandtheoutputfeaturesgeneratedbytheoriginalGhostmodule,therebyenablingthen
5、etworktocapturecontextualfeatures.Then,thecoordinateattention(CA)mechanismisintroducedtoE-GhostNettoenhancethemodelsattentiononeffectivefeatures.Inaddition,thecompleteintersectionoverunion(CIoU)lossfunctionisreplacedbythesoftintersectionoverunion(SIoU)lossfunctiontoobtainafasterconvergencespeedandop
6、timizationeffect.Finally,theDeepSORTmulti-targettrackingalgorithmisutilizedtodetectandlabelpedestrians,andaffinetransformation(IPM)isemployedtodeterminetheviolationoftherequireddistancebetweenpedestrians.Theexperimentalresultsshowthatthenetworkachievesreal-timepedestriandistancedetectionwithadetecti
7、onspeedof40FPSandanaccuracyof85.71%,whichis2.57%higherthanthatoftheoriginalGhostNetalgorithm.Key words:YOLOv4;DeepSORT;socialdistance;E-GhostNet;lightweightnetwork;objectdetection新型冠状病毒于 2019 年被发现,面对疫情所带来的巨大风险挑战,动态清零政策一直是我们坚持的主要方针之一.随着疫情进入稳定阶段,全国各地偶尔出现疫情的反弹,保障人民生命安全给防疫工作带来了计算机系统应用ISSN1003-3254,CODEN
8、CSAOBNE-mail:ComputerSystems&Applications,2023,32(2):128138doi:10.15888/ki.csa.008942http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041基金项目:陕西省科技计划重点项目(2017ZDCXL-GY-05-03)收稿时间:2022-06-23;修改时间:2022-07-25;采用时间:2022-08-15;csa 在线出版时间:2022-10-28CNKI 网络首发时间:2022-11-16128软件技术算法SoftwareTechniqueAlgorithm严峻的考验
9、.定期的核酸检测、密集场所佩戴口罩以及保持安全距离是防止病毒传染的重要手段.在火车站、购物中心和大学校园等人员密集场所保持安全距离对于预防或减缓病毒蔓延尤为重要.为减少疫情的影响,保持安全距离与自我隔离被认为是重启经济、打破感染链的最有效途径.目前人流密集场所多数使用人工监测,不仅需要大量人力,且存在监测人员感染风险.近年,深度学习被广泛用于各种检测任务中,并取得显著的效果.因此,基于深度学习的视频监控下社交距离检监测对常态化疫情防控具有重要意义和实践价值.目标检测算法分为两阶段目标检测算法和一阶段目标检测算法.两阶段目检测算法又叫做基于感兴趣区域的目标检测算法,其第 1 个过程目的在于找到目
10、标物体出现的位置生成预选框,第 2 个过程对每个预选框进行分类和位置的修正,主要的特点是精度高,但速度较慢.常见的双阶段目标检测算法有 FasterR-CNN1、R-FCN2和 FPN3等.一阶段目标检测算法又叫基于回归的目标检测算法,这类算法不直接生成感兴趣区域而将目标检测任务看做是对整幅图像的回归任,直接产生目标物体的概率和位置信息.主要的特点是速度相比两阶段的速度快,但是精度有所损失.常见的一阶段目标检测算法 YOLO47、SSD8等.随着深度学习技术的飞速发展,国内外许多学者将此技术应用于社交距离检测任务中.2020 年,赵嘉晴9用 YOLOv3 模型对行人社交距离判断,将违反信息通过
11、无线信号传送 OpenMv 模块,提醒行人保持安全距离.Ramadass 等10将训练好 YOLOv3 算法嵌入无人机摄像头中,提醒公共场合人保持安全距离和口罩监测.Yadav11设计通过树莓 pi4 与计算机结合的方法实现公共场所自动监控口罩佩戴和社交距离,违反信息通过树莓 pi4 发送警局中.Rezaei 等12开发了一个混合的计算机视觉和 YOLOv4 的深度神经网络模型,用于室内和室外环境中使用普通闭路电视安全摄像头的人群自动检测.该模型结合自适应逆透视映射(IPM)技术和排序跟踪算法,实现了一种鲁棒的人群检测和社会距离监测.2021 年,Ahmed 等13使用 Faster-RCNN
12、 在俯视图人类数据集上训练,同时利用迁移学习,将新训练层和预训练结构融合,利用距离对像素信息的影响,确定两个人是否违反社会距离.Saponara 等14利用热图像结合 YOLOv2 算法对行人在室内和室外场景中进行社交距离分类.杨森泉等15设计一辆利用 PyramidBox和 YOLOv3 模块进行口罩和社交距离的自主巡查车,从而保障安全的社交距离.Li 等16使用 YOLOv4 和DeepSORT 多目标跟踪算法对行人进行检测,在分析行人运动的基础上,提出了一种新的行人聚类算法,以避免同伴对监测结果的影响.最后,选取 3 个指标对行人进行分类,分析和评价某一场所的病毒感染风险.目前大多数算法
13、模型相对较大且检测的速度比较慢,大多数的检测都忽视了同伴的识别的判定.因此,设计出轻量化、实时性以及精确度之间相对平衡的模型框架检测行人之间社交距离,且能够分辨出同伴的功能.本文对公共场所行人安全距离进行检测,针对模型大的问题,在特征提取阶段使用更加轻量的 E-Ghost瓶颈模块进行骨干的特征提取.通过在骨干特征提取阶段引入坐标注意力模块,实现对于候选区域特征中重要特征的突出以及噪声特征的抑制,进而提升了特征的表达能力,实现了更高的检测精度.此外,替代原有 YOLOv4 网络 SPP 模块为 SPPF 模块实现更加高效的检测效果.在损失函数方面使用 SIoU 代替 CIoU 获得更快的收敛效果
14、.最终结合 DeepSORT 算法和 IPM进行目标跟踪与像素距离的估计,实现社交距离的防控和检测.1相关工作 1.1 YOLOv4 网络YOLOv4 网络7是单阶段目标检测算法整体包括 4 个主体部分.输入端包括 Mosaic 数据增强、SAT自对抗训练.主干特征提取网络包括 CSPDarknet、Mish 激活函数等.特征融合网络 Neck 在骨干和输出层之间的模块,如 SPP 模块、FPN+PAN 结构.Head 用于目标检测的输出,检测头分别检测大中小目标,每个检测头预设 3 个先验框.其中损失函数使用 CIoU 损失函数.并使用 DIoU_nms 替代 NMS 提高算法的检测精度.1
15、.2 GhostNet 网络模型Ghost 模块17如图 1 所示,先通过普通 11 卷积获得输入特征的充分浓缩,接着对生成的特征图进行深度可分离卷积操作获得浓缩的相似特征图.最后将11 卷积与深度可分离卷积操作生成的特征图进行拼接操作,得到新的输出.2023年第32卷第2期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法129恒等变换卷积Conv12输入端k图 1Ghost 模块Ghost 瓶颈如图 2 所示,第 1 层 Ghost 模块充当扩展层用于增加通的数目,第 2 层 Ghost 模块减少通道的数目来满足残差路径
16、Add 操作.Ghost 瓶颈两种结构,当需要对特征层的宽高进行压缩的时候,设置这个Ghost 瓶颈的 Stride=2,即步长为 2.2改进的 YOLOv4 网络与原本 YOLOv4 网络相比主要 3 部分改进:一是采用轻量化 E-GhostNet 网络结构,该模型增加计算量,因此用 SPPF 结构替换 SPP 结构,提高检测速度的同时获取更多的细节特征信息,二是引入 CA 模块增强特征的关注度,三是在 CIoU 损失函数基础增加面积尺度调节因子来调整边界框的损失值,从而获得更好的优化效果.改进后的 EC-YOLOv4 网络如图 3 所示.其中,K 代表卷积核的大小,s 表示步长,p 表示填充,c 表示通道的个数.AddBNGhost moduleBN ReLUGhost moduleStride=1 bottleneckAddBNGhost moduleBN ReLUBN ReLUGhost moduleStride=2 bottleneckDWConv stride=2图 2Ghost 瓶颈Input(416,416,3)E-Ghost_Bottlenecks(208,208,1
