1、北大中文核心期刊国外电子测量技术 D O I:1 0.1 9 6 5 2/j.c n k i.f e m t.2 2 0 4 4 5 0融合特征金字塔和通道注意力的轻量车辆检测算法*张 奇 陈梦蝶 赵 杰(西安工程大学电子信息学院 西安 7 1 0 0 4 8)摘 要:车辆检测是智能交通、无人驾驶等系统得以实现的重要支撑性技术。低精度或低速度的车辆检测器应用受限,因此提出了一种快速准确的车辆检测器。首先,前端特征提取网络V G G 1 6由M o b i l e N e t V 3_L a r g e替代,减少了参数量和计算量,并增加了对高维特征的提取能力;其次,利用特征金字塔思想构建双向加权
2、融合网络,有效融合不同尺度的特征,获取多维度的车辆特征;最后在特征提取层引入高效通道注意力,重新标定不同特征通道的重要性,进一步提高模型性能。与S S D相比,所提出的模型在K I T T I数据集和B D D 1 0 0 K数据集上分别将平均精度提高了7.5 0%和3.5 0%,并具有实时检测能力(超过4 0 f p s),在检测精度和速度方面有更好的平衡,说明了方法的有效性。关键词:车辆检测;S S D;M o b i l e N e t V 3;特征金字塔;注意力机制中图分类号:T P 3 9 1文献标识码:A国家标准学科分类代码:5 1 0.4L i g h t w e i g h t
3、 v e h i c l e d e t e c t i o n n e t w o r k f u s i n g f e a t u r e p y r a m i d a n d c h a n n e l a t t e n t i o nZ h a n g Q i C h e n M e n g d i e Z h a o J i e(S c h o o l o f E l e c t r o n i c s a n d I n f o r m a t i o n,X i a n P o l y t e c h n i c U n i v e r s i t y,X i a n 7
4、1 0 0 4 8,C h i n a)A b s t r a c t:V e h i c l e d e t e c t i o n i s a n i m p o r t a n t s u p p o r t i n g t e c h n o l o g y f o r t h e r e a l i z a t i o n o f i n t e l l i g e n t t r a n s p o r t a t i o n,a u t o n o m o u s d r i v i n g,e t c.P o o r a c c u r a c y o r l o w i n
5、f e r e n c e v e h i c l e d e t e c t o r s a r e l i m i t e d i n a p p l i c a t i o n,t h e r e f o r e t h i s p a p e r p r o p o s e s a f a s t a n d a c c u r a t e v e h i c l e d e t e c t o r.F i r s t,t h e f r o n t-e n d f e a t u r e e x t r a c t i o n n e t w o r k V G G 1 6 i s
6、r e p l a c e d b y M o b i l e N e t V 3_L a r g e,w h i c h r e d u c e s t h e n u m b e r o f p a r a m e t e r s a n d c o m p u t a t i o n,a n d i n c r e a s e s t h e a b i l i t y t o e x t r a c t h i g h-d i m e n s i o n a l f e a t u r e s.N e x t,t h e f e a t u r e p y r a m i d i d
7、e a i s u s e d t o c o n s t r u c t a w e i g h t e d b i-d i r e c t i o n a l f u s i o n n e t w o r k t o o b t a i n m u l t i-d i m e n s i o n a l v e h i c l e f e a t u r e s;I n t h e e n d,i n t r o d u c i n g e f f i c i e n t c h a n n e l a t t e n t i o n i n t h e f e a t u r e e
8、x t r a c t i o n l a y e r t o r e-c a l i b r a t e t h e i m p o r t a n c e o f d i f f e r e n t f e a t u r e c h a n n e l s a n d f u r t h e r i m p r o v e t h e m o d e l p e r f o r m a n c e.C o m p a r e d w i t h S S D,o u r p r o p o s e d m o d e l i m p r o v e s mA P b y 7.5 0%a n
9、 d 3.5 0%o n K I T T I d a t a s e t a n d B D D 1 0 0 K d a t a s e t,a n d w i t h r e a l-t i m e i n f e r e n c e(m o r e t h a n 4 0 f p s),i t r e p o r t s a b e t t e r t r a d e-o f f i n t e r m s o f d e t e c t i o n a c c u r a c y a n d s p e e d,i l l u s t r a t i n g t h e e f f e
10、c t i v e n e s s o f o u r m e t h o d.K e y w o r d s:v e h i c l e d e t e c t i o n;S S D;M o b i l e N e t V 3;f e a t u r e p y r a m i d;a t t e n t i o n m e c h a n i s m 收稿日期:2 0 2 2-1 0-2 8*基金项目:西安市碑林区应用技术研发项目(G X 2 0 0 7)资助0 引 言车辆检测是识别、检测和定位车辆目标,在智能交通、自动驾驶等领域得到广泛的应用。由于车辆图像大多是在实际道路场景中拍摄的,
11、目标车辆类型多样、背景复杂、光照条件多变等问题使得如何获取更具区分性的车辆特征成为一个难点和热点问题。近年来,利用卷积神经网络(c o n v o l u t i o n a l n e u r a l n e t w o r k s,C NN)自主地提取车辆深度特征成为解决该问题的主流方法,相较于依靠人工设计特征的传统方法,该方法操作简单易于实现,鲁棒性更好,为车辆检测提供了新的思路。基于C NN的车辆检测模型分为两类,双阶段和单阶段 检 测 算 法。双 阶 段 检 测 算 法 以R-C NN1、F a s t R-C NN2、F a s t e r R-C NN3以及M a s k R-C
12、 NN4等为代表,该类算法基于区域候选框,具有良好的检测精度,但速度较 慢。单 阶 段 检 测 算 法 以S S D5、R e f i n e D e t6、14 国外电子测量技术北大中文核心期刊YO L O7等为代表,此类算法取消了区域候选框,基于分类回归思想端到端地使用卷积神经网络提取图像特征信息,进而定位目标位置并识别目标类别,在检测速度上具有很大优势,能更好地适用于实时交通场景。然而区域建议步骤的取消导致该方法定位和分类结果变差,检测精度不及双阶段检测器。寻找一种快速准确的车辆检测器成为研究难点和热点。本文基于检测速度较快的单阶段方法,提高车辆检测器的准确性和获取更快的检测速度。为了将
13、车辆检测应用于嵌入式平台或低延迟需求场景,满足自动驾驶领域4 0 f p s以上的实时检测速度。刘寒迪等8采用轻量级M o b i l e N e t网络替换V G G-1 6网络,构成M o b i l e N e t-S S D模型,提高了检测速度。S i m等9使用S h u f f l e N e t模块替换跨级局部密集连接网络(c r o s s s t a g e p a r t i a l d e n s e c o n v o l u t i o n a l n e t w o r k,C S P D e n s e N e t)来压缩网络模型,适用于实时的车辆检测,但车辆检测
14、准确率也略微降低。上述几种模型通过不同的方法提升检测速度,但在复杂的应用场景中,并不能保证其检测精度一定满足。交通图像和视频中通常包含具有大尺度变化的车辆目标,为了解决车辆检测器不适应不同大小车辆的问题。石欣等1 0额外引入浅层特征改进特征金字塔,提取小目标细粒度特征,提高小目标检测准确率。H u等1 1结合上下文感知池化(c o n t e x t-a w a r e R o I p o o l i n g,C R P)和多分支决策网 络 提 出 了 一 种 对 尺 度 不 敏 感 的 卷 积 神 经 网 络(s c a l e-i n s e n s i t i v e c o n v o
15、 l u t i o n a l n e u r a l n e t w o r k,S I N e t),有效检测尺度变化较大的车辆。虽然上述模型证明采用多尺度的特征图用于检测是至关重要的,但没有很好地利用局部细节特征和全局语义特征,导致对小目标的检测效果仍然不好。近年来,采用特征融合或者加入注意力机制是提升模型性能的重要方法。在车辆检测场景中,通过充分挖掘车辆特征信息,可以强化对车辆的检测能力。刘鸣瑄等1 2将高分辨率的浅层特征和语义较强的深层特征进行融合,通过残差块设计了一个完整的特征融合结构,准确率有明显提高。Z h a o等1 3继承了S S D的体系结构,并引入一种特征融合模块从原
16、始特征中学习到更好的特征,在增加很少推理时间的条件下提高了检测精度。梁继然等1 4通过轻量化通道注意力机制加强对有效通道特征的表达,并将其作为深层特征提取层,在复杂交通场景下仍具有良好的检测性能。上述两种方法对特征提取仍不够丰富,在复杂的应用场景中,并不能保证其特征提取性能一定满足检测精度需求。综上所述,本文提出了一种融合特征金字塔和通道注意力的 轻 量 级 车 辆 检 测 器(MC E-S S D),采 用M o b i l e-N e t V 3_L a r g e1 5作为S S D的前端特征提取网络,并利用反残差结构改进网络最后五层的标准卷积,既减少了模型参数量,提高了检测速度,又有效地提升了模型的识别准确率;然后在特征提取模块中利用双向加权特征融合网络(w e i g h t e d b i-d i r e c t i o n a l f e a t u r e p y r a m i d n e t w o r k,B i F-P N)1 6的思想,有效融合不同尺度和同一尺度的特征,更好地形成车辆多维度特征;最后引入高效通道注意力机制(e f f i c i e n t c
