1、第 31 卷 第 4 期 2023 年 8 月Vol.31 No.4Aug.2023电脑与信息技术Computer and Information Technology文章编号:1005-1228(2023)04-0024-04基于行人检测与峰值密度聚类的行人多次徘徊检测算法查祖福水1,白梅娟1,魏永勇2,秦亚洲3,侯帅1(1.河北工程大学,河北 邯郸 056038;2.中国兵器科学研究院,北京 100089;3.中国北方车辆研究所,北京 100071)摘要:为了提升传统行人徘徊检测方法的准确性,提出了一种结合行人检测与峰值密度聚类的行人多次徘徊检测算法(Multiple Wander Det
2、ection Combining Pedestrian Detection and Peak Density Clustering MWD_PD_DPC)。首先,在行人检测算法的特征提取网络与 FPN 层之间加入自适应卷积注意力机制(SKNet),提升模型在多尺度场景下行人检测精度。然后,提出了柔性非极大值抑制(DIOU-Soft-NMS)来缓解行人在密集场景下错误抑制的现象,提升行人检测算法在密集场景下的检测精度。最后,使用峰值密度聚类算法(DPC)对行人的轨迹进行分析,来判断是否发生徘徊行为。并通过 AdaFace 人脸识别算法对徘徊的行人进行人脸匹配,来判断行人是否在不同时间段多次发生徘
3、徊行为。实验表明,该方法单次徘徊检测的准确率到达了 94.6%。行人多次徘徊检测的准确率到达了 78.7%。关键词:行人检测;SKNet;非极大值抑制;峰值密度聚类;人脸识别中图分类号:TP301.6文献标识码:APedestrian Multiple Wandering Detection Algorithm Combining Pedestrian Detection and Peak Density ClusteringCHA Zu-fu-shui1,BAI Mei-juan1,WEI Yong-yong2,QIN Ya-zhou3,Hou Shuai1(1.Hebei Universi
4、ty of engineering,Handan 056038,China;2.China Academy of weapons science,Beijing 100089,China;3.China North Vehicle Research Institute,Beijing 100071,China)Abstract:In order to improve the accuracy of traditional pedestrian wandering detection methods,a pedestrian wandering detection algorithm(Multi
5、ple Wander Detection Combining Pedestrian Detection and Peak Density Clustering MWD_PD_DPC)is proposed,which combines pedestrian detection with peak density clustering.First,an adaptive convolutional attention mechanism(SKNet)is added between the feature extraction network and the FPN layer of the p
6、edestrian detection algorithm to improve the accuracy of pedestrian detection in multi-scale scenes.Then,the improved flexible non maximum suppression(DIOU-Soft-NMS)is used to alleviate the phenomenon of false suppression of pedestrians in dense scenes and improve the detection accuracy of pedestria
7、n detection algorithms in dense scenes.Finally,the peak density clustering algorithm(DPC)is used to analyze the tracks of pedestrians to determine whether wandering behavior occurs.And through adaface face recognition algorithm to match the faces of wandering pedestrians,we can judge whether pedestr
8、ians have wandered for many times.The experiment shows that the accuracy of single wandering detection reaches 94.6%.The accuracy rate of pedestrian multiple wandering detection reached 78.7%.Key words:pedestrian detection;SKNet;non maximum suppression;peak density clustering;face recognition收稿日期:20
9、22-09-20基金项目:河北省重点研发计划项目(项目编号:21350101D)作者简介:查祖福水(1996-),男,湖北浠水人,硕士研究生,主要研究方向为人工智能;(通信作者)白梅娟(1990-),女,河北邯郸人,实验师,硕士研究生,主要研究方向为人工智能与智能信息处理;魏永勇(1978-),男,湖北广水人,研究员,硕士研究生,主要研究方向为装备仿真与评估;秦亚洲(1984-),男,河北石家庄人,高级工程师,本科,主要研究方向为整车野外实验测试;侯帅(1984-),男,河北邯郸人,副教授,博士研究生,主要研究方向为人工智能。随着科学技术的快速发展,智能视频监控中的视频分析技术已经成为智能视觉
10、系统中的一个研究热点1。徘徊行为检测视频监控的一项重要内容,是一种常见的视频分析技术2。徘徊行为表现为行人在DOI:10.19414/ki.1005-1228.2023.04.027第 31 卷 第 4 期25查祖福水等,基于行人检测与峰值密度聚类的行人多次徘徊检测算法某区域内反复的往返或无规则的运动,是种复杂的行为模式3。传统的徘徊检测方法利用帧差法和光流法得到行人运动轨迹,并根据运动轨迹等特点来判断行人是否发生徘徊行为4。赵卫峰等人,通过改进的三帧差分法以及 Mean-shift 算法来获取行人的运动轨迹,通过对轨迹沿竖直和水平方向进行分解来判断行人是否发生徘徊行为5,瞿中等人通过背景差分
11、以及Camshift 算法来获取行人轨迹,然后对轨迹进行网格化分析来判断行人是否发生徘徊行为6。上述方法都基于传统的方法来检测行人,虽然检测的速度较快,但是其存在漏检的情况,导致获取的轨迹并不准确。随着深度学习的发展,深度学习逐渐应用到行人检测领域。任超等人通过 YOLOv5 进行行人检测,并通过行人运动方向变化的次数以及轨迹点的个数来判断行人是否发生徘徊行为7。该方法虽然在行人上取得了不错的精度,但是其徘徊检测的方法由于考虑因素较少,导致其徘徊检测容易发生误判。上述徘徊检测算法并没有实现对不同时间段内发生徘徊行为行人身份的匹配。针对上述问题本文提出了一种基于行人检测与峰值密度聚类的行人多次徘
12、徊检测算法。首先,提出 SK-SN-Yolov4-tiny 行人检测算法来实现行人检测,以提高行人检测的精度;其次,通过 Deepsort 算法对检测到的行人进行跟踪,得到行人的运动轨迹;然后,通过峰值密度聚类算法对行人的轨迹进行聚类分析,判断行人是否发生徘徊行为。最后,通过 AdaFace 人脸识别算法对发生徘徊行为的行人进行人脸匹配,实现区域内行人在不同时间段的多次徘徊检测。1峰值密度聚类算法介绍DPC 算法假设聚类中心点是局部密度峰值,且与其他局部密度峰值点之间距离较大,其次非中心点应和距离其最近的高密度点在相同的簇中8。DPC会计算每个点之间的欧式距离,并近一步算出局部密度,从而得到决
13、策图,并通过决策图得到聚类中心,进而完成聚类任务。局部密度 的计算公式如式(1)所示:()niijcjdd=(1)式(1)中,()x代表实性函数,cd代表截断距离,是一个超参数。ijd代表样本点 i 到点 j 的欧式距离。2基于行人检测与峰值密度聚类的行人多次徘徊检测算法为了实现行人徘徊行为的检测,本通过 SK-SN-Yolov4-tiny 来检测行人,通过 Deepsort 算法对检测到的行人进行跟踪,以此来获取行人的运动轨迹。然后运用 DPC 算法分析行人的轨迹,从而判断行人是否发生徘徊行为。然而行人在某一段时间内的徘徊行为,不足以证明行人的行为是可疑的,当检测到行人多次在监控区域内有徘徊
14、行为时,则行人的行为十分可疑。为了实现不同时间段内有过徘徊行为行人身份的匹配,使用 Adaface 人脸识别算法,对发生过徘徊行为的行人进行人脸匹配。算法具体步骤如下:(1)行人检测与跟踪通过本文提出的 SK-SN-YOLOV4-tiny 算法来检测行人,然后通过 DeepSort 算法实现行人的跟踪,得到行人的运动轨迹。(2)基于轨迹的徘徊检测使用峰值密度聚类算法对行人的运动轨迹进行聚类分析,根据分析的结果判断是否发生徘徊行为。(3)人脸检测与抓拍当行人发生徘徊行为时,会通过 RetinaFace 算法进行人脸检测,并对检测到的人脸进行裁剪和保存。(4)人脸匹配当行人发生徘徊行为时,通过 A
15、daFace 人脸检测算法与之前抓拍的人脸进行匹配,如果匹配成功,则代表行人在不同的时间段内多次徘徊。2.1SK-SN-Yolov4-tiny 行人检测算法为了提高在多尺度以及密集场景下行人检测算法的精度,提出了一种融合自适应选择卷积核以及柔性非极大值抑制的 YOLOV4-tiny 行人检测算法 SK-SN-Yolov4-tiny。首先,在特征提取网络与 FPN 层之间加入自适应卷积注意力机制(SKNet),通过不同尺寸卷积核的并行卷积,提升模型在多尺度场景下行人检测精度。其次,使用改进的柔性非极大值抑制(DIOU-Soft-NMS)来缓解行人在密集场景下错误抑制的现象。SK-SN-Yolov
16、4-tiny 主 要 由 骨 干 网 络(CSPDarknet53-Tiny)、特征金字塔(Feature Pyramid Network,FPN)和 YOLO 检测头(YOLOHead)三部分组成。2.1.1 加入 SKNet 注意力机制增加感受野为了提升在多尺度情况下,行人的检测精度。因此本文引入动态选择机制网络(Selective Kernel 电脑与信息技术 2023 年 8 月26Networks SKNet),并将其放在特征提取网络的末端。SKNet 能够有效的调整感受野的大小,其结构如图 1所示。图 1SKNet 结构示意图 由图 2 可知,SKNet 主要由分解(Split)、融合(Fuse)以及选择(Select)三个部分组成在分解阶段,对于输入特征 X 使用不同尺寸的卷积核进行并行卷积,使得卷积卷积操作获得不同的感受野的特征U、U、U?。在融合阶段会将分解阶段得到的特征图通过逐元素相加的方式进行融合得到特征。在选择阶段,首先通过全局均值池化(Fgp)以及全连接操作对融合后的特征 U 进行压缩,得到全局信息向量 z。然后在 z 的指导下,通过软注意力机制生成每个分支上