1、h t t p:/ww wj s j k x c o mD O I:/j s j k x 到稿日期:返修日期:基金项目:国家自然科学基金();湖南省自然科学基金(J J )T h i sw o r kw a ss u p p o r t e db yt h eN a t i o n a lN a t u r a lS c i e n c eF o u n d a t i o no fC h i n a()a n dN a t u r a lS c i e n c eF o u n d a t i o no fH u n a nP r o v i n c e,C h i n a(J J )通信作
2、者:傅瑞罡(f u r u i g a n g n u d t e d u c n)基于改进B y t e T r a c k算法的红外地面多目标跟踪方法王雒李飚傅瑞罡国防科技大学电子科学学院长沙 (s a d g d s g j k s a d q q c o m)摘要红外目标智能检测跟踪技术研究一直是同领域中的热点问题,尤其是在精确制导、海面监视和天空预警等方面.针对红外地面多目标跟踪场景中,由地面杂波干扰、多目标遮挡干扰、平台晃动等复杂场景造成的跟踪精度降低等问题,提出了一种基于改进B y t e T r a c k算法的红外地面多目标跟踪方法.首先引用一种自适应调制噪声尺度的卡尔曼滤波
3、器,缓解低质量检测对v a n i l l a卡尔曼滤波器的影响;其次引入增强相关系数最大化算法对帧间图像进行配准,来补偿平台晃动产生的影响;然后增加了基于长短期记忆网络的运动模型,减小了卡尔曼滤波在非线性运动状态中产生的预测误差;最后引入连接模型和高斯平滑算法这两种轻量级离线算法来完善跟踪结果.在红外地面多目标数据集上进行了实验,结果表明,与S o r t和D e e p s o r t算法相比,改进算法的MO T A值分别提升了 和 ,I D F 值分别提升了 和.与同类算法相比,改进算法表现出了更好的有效性,在红外目标智能检测跟踪场景中会有较大应用.关键词:多目标跟踪;红外目标;B y
4、t e T r a c k;卡尔曼滤波;长短期记忆网络中图法分类号T P I n f r a r e dG r o u n dM u l t i o b j e c tT r a c k i n gM e t h o dB a s e do nI m p r o v e dB y t e T r a c kA l g o r i t h mWANGL u o,L IB i a oa n dF UR u i g a n gC o l l e g eo fE l e c t r o n i cS c i e n c ea n dT e c h n o l o g y,N a t i o n a l
5、U n i v e r s i t yo fD e f e n s eT e c h n o l o g y,C h a n g s h a ,C h i n aA b s t r a c t T h er e s e a r c ho f i n f r a r e do b j e c t i n t e l l i g e n td e t e c t i o na n dt r a c k i n gt e c h n o l o g y i sa l w a y sah o t t o p i c i nt h e s a m e f i e l d,e s p e c i a l
6、l y i np r e c i s i o ng u i d a n c e,s e as u r f a c es u r v e i l l a n c ea n ds k yw a r n i n g A i m i n ga t t h ep r o b l e m s t h a t t r a c k i n ga c c u r a c y i s r e d u c e dd u e t og r o u n dm i s c e l l a n e o u s i n t e r f e r e n c e,m u l t i o b j e c tb l o c k i
7、n t e r f e r e n c e,p l a t f o r ms h a k i n ga n do t h e rc o m p l e xs c e n e s,a ni n f r a r e dg r o u n dm u l t i o b j e c t t r a c k i n gm e t h o db a s e do ni m p r o v e dB y t e T r a c ka l g o r i t h mi sp r o p o s e d F i r s to fa l l,am o d i f i e dK a l m a nf i l t e
8、 rw h i c hc o u l da d a p t i v e l ym o d u l a t e t h en o i s e s c a l e i s i n t r o d u c e d t oa l l e v i a t e t h e i m p a c t o f l o w q u a l i t yd e t e c t i o no nv a n i l l aK a l m a n f i l t e r S e c o n d l y,t h e i n t r o d u c t i o no f e n h a n c e dc o r r e l a
9、 t i o nc o e f f i c i e n tm a x i m i z a t i o n i su s e d t os e t t l e t h e i n t e r f r a m e i m a g e s t oc o m p e n s a t et h ep l a t f o r ms h a k i n g i m p a c t T h e nB y t e T r a c k i n c r e a s e s t h em o t i o nm o d e l b a s e do n l o n gs h o r t t e r mm e m o r
10、 yn e t w o r kt os o l v et h ep r e d i c t i o ne r r o rc a u s e db yK a l m a nf i l t e ri nt h en o n l i n e a rm o t i o ns t a t e F i n a l l y,t w ol i g h t w e i g h to f f l i n ea l g o r i t h m so fl i n km o d e l a n dG a u s s i a n s m o o t h e d i n t e r p o l a t i o na r
11、e i n t r o d u c e dt or e f i n e t h e t r a c k i n gr e s u l t s E x p e r i m e n t i sp e r f o r m e do nt h e i n f r a r e dg r o u n dm u l t i o b j e c td a t a s e t a n dt h er e s u l t ss h o wt h a tc o m p a r e dw i t hS o r ta n dD e e p S o r t,t h eMO T Ao f t h e i m p r o v
12、 e da l g o r i t h mi n c r e a s e sb y a n d ,I D F i n c r e a s e sb y a n d,r e s p e c t i v e l y T h e i m p r o v e da l g o r i t h ms h o w sb e t t e r e f f e c t i v e n e s sa n dw i l l b eu s e d i nt h e i n f r a r e do b j e c t i n t e l l i g e n td e t e c t i o na n dt r a c
13、 k i n gs c e n e s K e y w o r d s M u l t i o b j e c t t r a c k i n g,I n f r a r e do b j e c t,B y t e T r a c k,K a l m a nf i l t e r,L o n gs h o r t t e r m m e m o r yn e t w o r k引言红外精确制导技术是当今世界各军事强国争相发展的重要技术,红外热成像系统已经被广泛应用,用于对目标进行捕捉,然后处理目标的红外图像信息以获得目标的坐标信息,从而控制导引头对目标进行跟踪锁定.同时,具有全天候工作、被动
14、预测、隐蔽性好和抗电子干扰能力强等特点的机载红外预警系统已经被广泛应用于陆海空预警方面,用于实现对地面、海面和空中目标的搜索跟踪,使其能够为近程武器防御系统提供目标信息.近年来,远距离的红外小目标检测与跟踪技术在战斗机火控制导系统和防空预警系统中的作用越来越大,在国防建设和现代化武器装备改进升级中扮演着十分重要的角色.随着经济和科技的飞速发展,红外热成像系统的体积和成本都有所下降,逐渐被民用化.无人汽车驾驶、无人飞机巡检和红外全景监测等多个民用领域也开始广泛采用红外目标检测与跟踪技术.无人驾驶车辆在行车途中,除了捕捉静态信息之外,同时需要联合其他传感器,如红外传感器,根据目标的历史轨迹进行合理
15、的轨迹预测,用于制定避障策略.红外热成像仪搭载在多旋翼无人机上被用于跟踪输电线路.采用红外热成像仪对线路特征较清晰的红外图像进行分析处理后,调整控制信号,以保证持续跟踪输电线目标.油田监控预警也采用了全景红外成像,来达到准确可靠、搜跟一体、全天候和全方位的安防要求.因此,红外目标智能检测跟踪技术的发展具有非常重要的理论意义和应用价值,有助于丰富军事侦察手段,提高军事侦察能力,具有较为广阔的应用前景.红外目标的检测跟踪技术中,已有传统算法很难适用于所有情况,检测跟踪能力提升遭遇瓶颈.相比可见光检测跟踪,红外目标检测跟踪的检测跟踪距离、抗干扰能力以及工作范围和时长都具有可比性,因此将可见光检测跟踪
16、的一些深度学习方法进行借鉴和发展,并将其运用到红外地面目标检测跟踪技术上.应用深度学习理论优化红外地面目标智能检测跟踪技术是一个值得研究的方向,也是一项十分紧迫的任务,这些问题对于红外目标智能检测跟踪技术在未来军事以及民用设备上的发展都至关重要.针对红外地面多目标跟踪场景中存在的由地面杂波干扰、多目标遮挡干扰、平台晃动等复杂场景所造成的跟踪精度降低等问题,本文提出了一种基于改进B y t e T r a c k算法的红外地面多目标跟踪方法.本文的主要工作如下:首先,引用N S A(N o i s eS c a l eA d a p t i v e l y)卡尔曼滤波器,采用自适应计算噪声协方差
17、来缓解低质量检测对v a n i l l a卡尔曼滤波器的影响;其次,引入 增强 相关 系 数 最 大 化 算 法E C C(E n h a n c e dC o r r e l a t i o nC o e f f i c i e n t)对帧间图像进行配准,来补偿平台晃动产生的影响;然后,增加了基于L S TM(L o n gS h o r t t e r m M e m o r yN e t w o r k)的运动模型,利用长短期记忆网络L S TM进行轨迹预测,减小了卡尔曼滤波在非线性运动状态中产生的预测误差;最后,引入两个轻量级、即插即用和与外观无关的算法来完善跟踪结果,第一个是与外
18、观无关,只利用时空信息 来 预 测 两 个 轨 迹 是 否 属 于 同 一I D的 连 接 模 型A F L i n k(A p p e a r a n c e f r e eL i n k),第二个是用于弥补漏检情况的高斯 平滑 插 值算 法G S I(G a u s s i a n s m o o t h e dI n t e r p o l a t i o n),两种离线算法进一步提高了跟踪过程的准确性和鲁棒性.相关工作随着人工智能的不断发展与计算机硬件性能的逐渐提升,以卷积神经网络为基础的深度学习在计算机视觉的各个领域(如目标检测和多目标跟踪等)取得了相当大的成功.多目标跟踪在计算机视
19、觉领域中扮演着重要角色,其任务是在给定视频中同时对多个感兴趣目标进行检测定位,并且保持目标I D稳定不变,最后持续跟踪目标并记录轨迹,尤其是针对车辆的跟踪,应用非常广泛,在视频监控、智能交通和军事制导等领域具有十分重要的作用.深度学习蓬勃发展之前,目标跟踪领域大部分属于单目标跟踪,在多目标跟踪方面的研究不多.传统的多目标跟踪算法主要有联合概率数据关联滤波、多假设跟踪算法、条件随机场等方法.联合概率数据关联滤波J P D A考虑观测值与每个目标之间的关联概率,使其在每步中进行最佳赋值.J P D A假设所有的检测都有可能来自每个特定目标,只是来自不同目标的概率存在差异.J P D A不依赖于跟踪
20、目标的先验信息,但存在较多数量目标时会出现组合爆炸问题.多假设跟踪算法MHT保留了对真实目标的所有假设,基于延迟逻辑,在连续几步中考虑多种可能的关联,基于后续接收的结果来处理当前扫描周期的相对关联歧义.MHT是解决数据关联的最优算法,能检测出目标的出现和消失,需要依赖目标和杂波的先验信息.但由于其复杂性,应用起来通常受到限制.RMO T多目标跟踪算法通过对目标的上下文运动建模来描述其相对运动,以排除相机运动的影响,同时与贝叶斯滤波器、匈牙利匹配结合.近年来,基于卷积神经网络的目标检测器的准确性和效率不断提高,可见光多目标跟踪取得了重 大进 展.B e w l e y等 提出的简单在线实时跟踪算
21、法S O R T,是最早利用卷积神经网络检测目标的MO T算法之一,该算法重点关注帧间的预测和关联,通过线性速度模型卡尔曼滤波器预测物体运动,然后度量检测框和跟踪框的交并比,最后利用匈牙利算法将检测结果关联在一起;S O R T算法并没有过多地关注长时间跟踪期间遮挡造成的目标I D频繁变换问题.随后,W o j k e等 提出了D e e p S o r t算法,D e e p S o r t在S O R T算法的基础上进行改进,在数据关联部分引入了重识别特征来提取深度表观特征,使得部分被遮挡的物体能够被重新识别,同时提出了级联匹配策略,提高了目标匹配的准确度;C h e n等 提出了MO T
22、 D T算法,设计了一种新的多目标跟踪框架,融合了目标的深度外观信息与空间信息,并提出了一种分层数据关联策略,将预测目标与多个检测目标层级关联,根据软分配策略的轨迹评分机制来实现目标的关联,充分利用重识别特征和空间信息提升跟踪性能.W a n g等 提出了J D E算法,从模型推理运行速度方面考虑,融合一阶段目标检测与行人重识别网络,使得网络模型同时输出检测信息和重识别信息,加快了推理运行的速度.Z h a n g等 提出了F a i r MO T算法,检测分支采用无锚框的目标检测算法C e n t e r N e t,与此同时增加一个平行分支直接输出R e I D特征用来区分不同目标,很好地
23、将目标检测和重识别网络统一起来.Z h o u等 提出了C e n t e r T r a c k算法,实现了对检测和目标深度特征的同时提取,通过对所有目标进行并行推理来及时恢复更新因遮挡而造成的目标漏检,提高了算法对重叠遮挡问题的鲁棒性.近年来,一些深度学习方法已经被运用到红外多目标跟踪算法中.W a n g等 将可见光目标检测Y O L O v 引入红外小目标检测中,使用Y O L O v t i n y网络进行检测,利用卡尔曼滤波和匈牙利算法进行多目标跟踪,虽然取得了不错的效果,但是目标I D发生了较多的切换.S o n g等 提出了一种改进的红外多类别多目标跟踪网络,它结合R e p
24、VG G骨干网络设计了快速金字塔结构和无锚框网络结构,进一步减少了网络参数量并缩短了推理时间,但是跟踪精度已经不能王雒,等:基于改进B y t e T r a c k算法的红外地面多目标跟踪方法满足现在的要求.Y a n g等 提出了一种基于分层数据关联的空中红外多目标跟踪方法,它构建了表观、运动、尺度种特征相似性,数据关联效果不错,但是对目标的检测精度还不够好.X i e等 提出了一种融合轻量级Y O L O v 与K C F算法的红外舰船目标识别方法,适合复杂背景条件下的舰船红外目标识别,实现了对舰船目标稳定持续的跟踪,具有较强的鲁棒性和实时性,但是跟踪精度依然还有提升的空间.Y a n
25、g等 提出了一种基于深度学习的防空武器红外目标识别流程,目标检测阶段采用Y O L O网络模型对全图多目标进行识别定位,目标跟踪阶段采用超分辨率重建算法提升目标局部图像分辨率,最后采用深度残差网络模型对跟踪目标进行识别分类,但数据关联效果还不够好.基于 上述 问题,本文 将多 目标 跟 踪算 法B y t e T r a c k与N S A卡尔曼滤波算法、增强相关系数最大化算法E C C、长短期记忆网络L S TM、连接模型A F L i n k和高斯平滑插值算法G S I相结合,实验结果表明,改进算法表现出了更好的有效性,多目标跟踪精度得到了提升.B y t e T r a c k的基本框架
26、多目标跟踪的大多数方法采用检测分数高于某一设定阈值的边界框来进行关联,并且同时丢弃由遮挡和运动模糊等问题产生的低分数检测框,从而造成了不可忽略的目标丢失和轨迹碎片化.检测决定了跟踪任务的上界,而关联部分则决定是否能够更好地达到检测决定的上界,因此数据关联是多目标跟踪任务的核心.为了解决这个问题,B y t e T r a c k考虑关联每个检测框而不仅仅只关联高分数检测框,利用多次匹配来提高跟踪精度.优先匹配高分数检测框和轨迹后,再将低分数检测框和剩余的轨迹进行匹配,利用它 们 与之 前的轨迹进 行 相 似 度 对 比,来 恢 复 真 实 目 标 和 过 滤 背 景.B y t e T r a
27、 c k算法基于高性能目标检测器Y O L O X 和关联方法B Y T E.B y t e T r a c k是“按检测跟踪”范式的跟踪方法,没有使用R e I D特征计算外观相似度,它仅仅使用了卡尔曼滤波预测边界框,然后使用匈牙利算法匹配目标和轨迹,完整的计算流程如图所示.图B y t e T r a c k算法的流程图F i g F l o wd i a g r a mo fB y t e T r a c ka l g o r i t h m 高性能目标检测器Y O L O XY O L O X将Y O L O系列检测器切换到无锚模式,并采用一些先进的检测技术,包括解耦头、强力数据增强(
28、如M o s a i c和M i x u p)以及有效的标签分配策略S i mO TA,来实现最先进的目 标 检 测 性 能.骨 干 网 络 和Y O L O v 相 同,采 用C S P D a r k n e t以及附加的P AN头.在骨干网络之后有个解耦头:()用于分类;()用于回归;()在回归头中加入了一个额外的I OU注意分支.关联方法B Y T EB Y T E的输入有视频片段V、检测器D e t和卡尔曼滤波器K F,同时设定个阈值h i g h,l o w,.前两个为检测分数阈值,后一个为跟踪分数阈值.B Y T E的输出为视频的轨迹T,每个轨迹包含目标的检测框和身份.对于视频中
29、的每一帧图像,使用检测器D e t预测其检测框和分数.对于得分高于阈值h i g h的检测框,将它们放入高分检测框Dh i g h中;对于得分高于阈值l o w且低于阈值h i g h的检测框,将其放入低分检测框Dl o w中.将低分检测框和高分检测框分离开后,对轨迹集合T中的所有轨迹采用卡尔曼滤波器K F预测,预测出T中每个轨迹在当前帧中的新位置.首先对高分检测框Dh i g h和所有轨迹T(包括丢失的轨迹Tl o s t)进行第一次关联,相似度由检测网络预测的检测框与卡尔曼滤波预测的跟踪框之间的I OU计算获得,然后采用匈牙利算法进行关联匹配.拒绝匹配相似度小于 的检测框,将未匹配的检测框
30、存放于Dr e m a i n中;将未匹配的轨迹存放于Tr e m a i n中,第一次关联过程大致如图所示.图第一次关联F i g F i r s t a s s o c i a t i o n在第一 次 关 联 之 后,在 低 分 检 测 框Dl o w和 剩 余 轨 迹Tr e m a i n之间进行第二次关联,单独使用I OU作为相似度,因为低分检测框通常包含严重的运动模糊或遮挡,并且此时外观特征不可靠.将未匹配的轨迹存放于Tr e r e m a i n中,并删除所有未匹配的低分检测框,第二次关联过程大致如图所示.C o m p u t e rS c i e n c e计算机科学V
31、o l ,N o ,S e p 图第二次关联F i g S e c o n da s s o c i a t i o n对于第二次关联后未匹配的轨迹Tr e r e m a i n,认为是暂时丢失了目标,将它们放入Tl o s t中.对于Tl o s t中的每个轨迹,只有当它超过一定数量(通常设定为 帧)的帧时,才会将其从轨迹T中删除;否则,保留Tl o s t在轨迹T中.最后,对于在第一次关联后从未匹配过的高分检测框Dr e m a i n,如果检测得分高于且存活超过两帧,则初始化为新的轨迹.每一帧的输出是当前帧中轨迹T的边界框和身份,但并不输出Tl o s t的边界框和身份.实验中,h i
32、 g h设置为,l o w设置为,设置为,保留下由遮挡和运动模糊等问题产生的低分数检测框,将低分数检测框和轨迹进行匹配,使得算法能够达到更好的跟踪效果.基于B y t e T r a c k的改进 N S A卡尔曼滤波算法v a n i l l a卡尔曼滤波虽然得到了广泛的运用,但是不稳定,它为所有目标简单地设置了一个统一的测量噪声尺度,忽略了检测噪声尺度上的影响;同时也没有考虑到每个目标的检测质量,使其很容易受到低质量检测的影响.为了获得更精确的运动状态,引用N S A卡尔曼滤波,即去除噪声的卡尔曼滤波,采用的自适应计算噪声协方差Rk的计算式为:Rk(ck)Rk()其中,Rk是预先设定的常数
33、测量噪声协方差,ck是状态k下的检测置信度.增强相关系数最大化算法E C C多目标跟踪场景中通常存在着比较复杂的运动模式,可以概括为目标的刚性和非刚性运动,同时还包含了相机的刚性运动,例如MO TC h a l l e n g e数据集,就存在着大量相机运动的场景,有些场景甚至超过了静态相机场景参数.同时,“按检测跟踪”范式的跟踪方法也严重依赖于轨迹预测 的跟踪框和检测边界框之间的I OU.综上,相机运动对于多目标跟踪的影响不小,尤其是一些仅依赖于运动特征信息的算法,相机的运动会严重干扰到运动模型.因为缺乏关于相机运动的额外参数和相机内部参数,所以两个相邻帧之间的图像配准就是 相机 刚 性运
34、动在 图像 平 面上 良好 的投影近似.增强相关系数最大化算法E C C首先采用全局运动估计技术(GMC)来表示背景运动,然后对图像平面上的关键点进行提取,最后采用稀疏光流的方式,进行基于平移的局部异常点抑制的特征跟踪.使用R AN S A C计算获得两个相邻帧之间的仿射变换矩阵,然后使用仿射变换矩阵将预测边界框从k帧的坐标系变换到下一帧k的坐标.实验中,E C C算法选择采用运动欧几里得的翘曲模式.应用E C C这种方法,跟踪器对相机的运动具有较好的鲁棒性.基于L S TM的运动模型 长短期记忆网络(L S TM)B y t e T r a c k算法中使用的是基于卡尔曼 滤 波的 运动 模
35、型,是预测目标轨迹的一种线性运动模型,它通过输入目标的历史运动特征进行预测,从而进行目标匹配.但是在运动过程中出现多目标互相干扰和障碍物遮挡时,运动状态变为非线性,使用卡尔曼滤波并不能进行准确的轨迹预测.长短期记忆网络(L S TM)具有记忆功能,拥有强大的序列建模能力来解决顺序和时间相关约束,尤其是在行人轨迹预测、船舶轨迹预测和自动驾驶轨迹预测等复杂背景下的预测中展现了强大的优势,因此B y t e T r a c k算法增加了基于L S TM的运动模型,来提取物体的运动特征.当出现同一目标因为遮挡或者仅仅依靠外观特征无法正确区分目标而导致目标I D频繁变换时,运动特征可以帮助多目标跟踪算法
36、正确分配目标轨迹,实现逐帧的目标检测跟踪,L S TM单元结构如图所示.图L S TM单元结构图F i g S t r u c t u r ed i a g r a mo fL S TMu n i t 基于L S TM的轨迹预测由于地面目标的运动模式比较简单,向循环神经网络L S TM中输入目标的数帧历史运动特征,预测网络就能够准确地预测出目标未来的运动特征.目标轨迹预测网络的训练数据是红外地面多目标跟踪数据集的标注文件.经过实验后得出,向循环神经网络L S TM中输入的运动特征有目标框的中心坐标(cx,cy)、宽度w和高度h;在输入层将t到t时刻目标的运动特征作为输入,预测t时刻目标的运动特
37、征时,均方差损失函数达到最小,也就是当目标被连续跟踪帧时,使用基于L S TM的运动模型预测下一帧的运动特征准确率达到最高,即经过实验发现,当输入维度为,时间步长为,且循环神经网络L S TM的超参数设置如表所列时,均方误差损失函数最小,在非线性运动状态中产生的预测误差最小.表L S TM网络参数T a b l eL S TMn e t w o r kp a r a m e t e r s参数设置迭代次数 神经元个数 隐藏层层数学习率 B a t c h s i z e 优化算法A d a m损失函数均方误差王雒,等:基于改进B y t e T r a c k算法的红外地面多目标跟踪方法 无外
38、观连接模型A F L i n k为了将全局信息更好地利用起来,一些方法通常采用全局连接模型将短轨迹碎片关联到轨迹上,使用离线的方式将准确但不完整的轨迹与全局信息关联.虽然这些方法更好地完善了跟踪结果,但它们往往都依赖于密集型计算模型,尤其是采用外观嵌入的方法,耗时较长,实时性较差.因此,引入了一种只利用时空信息来预测两个输入轨迹是否属于同一I D的A F L i n k模型.A F L i n k模型采用两个轨迹Ti和Tj作为网络模型的输入,其中Tfk,xk,ykNk由最近N 帧的帧fk和位置(xk,yk)组成,零填充用于短于 帧的图像.特征提取采用时间模块,时间模块由个卷积层组成,具有个内核
39、和,个输出通道;特征提取沿时间维度与个卷积核进行卷积,每个卷积之后是B N层和R E L U激活层.融合模块包括卷积、B N层和R E L U,它不会改变通道的数量;融合模块随后对来自不同特征维数f,x和y的信息进行卷积,把得到的两个特征映射先后进行合并 和 压 缩操作,从而获得包 含 丰富 时空 信 息的 特征 向量,接着 进行拼接操作.最 后 使 用 具 有 两 个 全 连 接 层 和 插 入 其 间 的R E L U层的ML P来判断关联的置信度分数.在关联过程中,过滤具有时空 约 束的 不合 理 轨迹 对,将 全局 连接 理解为具有预测 连 通 性 分 数 的 线 性 分 配 任 务.
40、图给 出 了A F L i n k模型的框架.图A F L i n k模型的结构图F i g F r a m e w o r ko fA F L i n km o d e l将带注释的轨迹切割成具有随机时空噪声的轨迹,并且通过 的正负样本比例来生成A F L i n k模型的训练数据.在实验中,使用A d a m作为优化算法,采用交叉熵作为损失函数,同时用余弦退火学习率调度进行 次迭代训练,时间距离阈值设置为 帧,空间距离阈值设置为 像素,用于过滤不合理的关联对.如果关联对的预测得分大于 ,则考虑输入轨迹的关联性.高斯平滑插值算法G S I线性插值被广泛用于弥补漏检情况,尽管线性插值简单有效,
41、但它忽略了运动信息,限制了插值位置的精度.因此,高斯平滑插值算法G S I在高斯过程回归算法(G P R)的基础上对非线性运动进行了建模,没有增加额外的耗时组件,引入的G S I算法在精度和效率之间取得了很好的折衷.高斯平滑插值(G S I)和线性插值(L I)之间的区别如图所示,原始跟 踪 结 果 用 橙 色 实 线 表 示,它 通 常 包 含 了 噪波抖动;线性 插 值L I用 蓝 色 实 线 表 示,它 忽 略 了 运 动 信息;高斯平滑插值G S I用红色实线表示,它使用自适应平滑度因子对整个轨迹进行平滑,同时解决了噪波抖动和忽略运动信息这两个问题.对于G S I,在实验中允许插值的最
42、大间隙是 帧.图线性插值和高斯平滑插值的区别(电子版为彩图)F i g D i f f e r e n c eb e t w e e nL I a n dG S I实验与结果分析 实验环境与数据集本实 验 基 于L i n u x平 台 通 过P y t h o n语 言 实 现,采 用U b u n t u 的操作系统,深度学习框架为P y t o r c h,采用C UD A 和c u D NN 加速训练;所运行的硬件平台如下:处理器为I n t e lC o r ei K,显卡为NV I D I A R T X .实验选用红外地面多目标跟踪数据集,红外地面多目标跟踪数据集部分示例如图所示
43、,数据集由 条序列组成,选取其中 条序列作为测试数据集.图红外地面多目标跟踪数据集部分示例F i g S o m ee x a m p l e so f i n f r a r e dg r o u n dm u l t i o b j e c t t r a c k i n gd a t a s e t 评价指标采用MO TC h a l l e n g e评价标准来评估本文提出的多目标跟踪算法,评价指标如表所列,评价指标中()表示数值越高跟踪效果越好,()则相反.表多目标跟踪评估指标T a b l eM u l t i o b j e c t t r a c k i n ge v a l
44、u a t i o n i n d i c a t o r s评价指标定义MO TA()跟踪准确度I D F()正确识别的检测与平均真实数和计算检测数之比I D s()I D切换总数F P()误检的目标总数F N()漏检的目标总数FM()轨迹碎片化的总次数(即在跟踪过程中中断)实验结果与分析 组件消融实验为了验证改进算法各模块的有效性,使用红外地面多目标数据集对改进算法进行了一些组件消融实验,组件消融实验的结果如表所列.C o m p u t e rS c i e n c e计算机科学V o l ,N o ,S e p 表组件消融的实验结果T a b l eC o m p o n e n t
45、a b l a t i o nr e s u l t sN S AE C CL S TMA F L i n kG S IMO T A/I D F/引入增强相关系数最大化算法E C C后,MO T A提升了,I D F 提升了,跟踪性能有一定提升,这表明引入的E C C算法对存在大量平台晃动的测试序列的跟踪效果有所改 善;增 加 基 于L S TM的 运 动 模 型 后,MO T A提 升 了,I D F 提升了,表现出了较好的效果,这表明增加的运动模型能够较好地处理测试序列中存在的多目标严重遮挡干扰问题;采用无外观连接模型A F L i n k和高斯平滑插值算法G S I后,MO TA提升到
46、,I D F 提升到 ,跟踪性能继续有所提升,这表明两种离线处理算法能够有效地完善跟踪结果.即使改进算法增加了个模块,但由于输入的处理图像为单通道灰度图像,因此改进算法依然能够实时工作.多目标跟踪算法改进前后的效果如图所示,改进前,目标I D发生变换;改进后,目标I D保持稳定不变.(a)本文跟踪算法改进前的跟踪效果图(b)本文跟踪算法改进后的跟踪效果图图组件消融实验的跟踪效果图F i g T r a c k i n ge f f e c to f c o m p o n e n t a b l a t i o ne x p e r i m e n t s 多目标跟踪算法的对比实验改进算法选择
47、红外地面多目标数据集进行实验,与其他两种多目标跟踪算法结果进行对比,结果如表所列.表不同跟踪算法的结果对比T a b l eR e s u l t sc o m p a r i s o no fd i f f e r e n t t r a c k i n ga l g o r i t h m sM e t h o dMO TA/I D F/I D sF PFNFMS O R T D e e p S o r t o u r s 综合分析各项指标可以看出,改进算法与其他两种多目标跟踪算法相比具有相对优势.改进算法着重考虑地面杂波干扰、多目标遮挡干扰、平台晃动等复杂场景跟踪效果不佳的问题,因此改进
48、算法在各项指标上都有所提升.相比S o r t,D e e p S o r t虽然加入了表观 特征 的 度量 方式,但是 由于 红外地面目标通常为小目标,同时一些目标的形状结构不清晰,不容易区分,因此D e e p S o r t算法的跟踪精度反而下降了,同时轨迹碎片增加到 个,但是表观特征的加入依然使得D e e p S o r t算法的I D F 提升了,I D s下降了次,这表明在红外地面多目标场景中,表观特征的加入对跟踪算法性能的提升没有达到预期;相比S o r t,改进算法对低分框进行了二次分配并且在运动特征方面进行了改进,因此跟踪性能有较大改善,MO T A提升了,I D F 提升
49、了,这表明从运动特征方面进行改进,会给算法的跟踪性能带来较大的提升.综上,可以验证改进算法的有效性和优势.不同场景下的实验效果测试序列为白天场景,种跟踪算法在测试序列上的跟踪效果如图所示.测试序列中存在大量平台晃动,由于为白天场景,因此目标与背景对比度小.种算法在第 帧时都能正确检测并跟踪个目标.由于号目标为小目标,并且伴随平台晃动,因此在第 帧和第 帧时依然能检测并跟踪个目标,但是S o r t和D e e p S o r t对号目标的跟踪都发生了I D变换,而改进算法却能正确检测并且稳定跟踪个目标,这说明改进算法针对运动特征方面的改进是有效的.(a)S o r t在测试序列上的跟踪效果图(
50、b)D e e p S o r t在测试序列上的跟踪效果图(c)改进算法在测试序列上的跟踪效果图图种跟踪算法在测试序列上的跟踪效果图F i g T r a c k i n ge f f e c to f t h r e e t r a c k i n ga l g o r i t h m so n t e s t s e q u e n c e 测试序列中存在平台晃动.种算法在第 帧时都能正确检测并跟踪个目标;在第 帧时依然能检测并跟踪个目标,但是S o r t对号目标的跟踪发生了I D变换,而D e e p S o r t由于加入了表观特征,可以稳定跟踪目标,保持目标I D不变,改进算法由于
