1、2023 年第 3 期计算机与数字工程收稿日期：2022年8月10日，修回日期：2022年9月17日作者简介：唐知行，男，硕士，研究方向：雷达信息处理、深度学习。刘华军，男，博士，副教授，研究方向：图像处理。1引言多目标跟踪在雷达目标探测和追踪领域是至关重要的问题。随着近年来电子通信和计算机技术的飞速发展，使得雷达多目标跟踪的应用1更加广泛。在民用领域，航空管制雷达可以标识机场、航线上的飞机的高度、速度等运动属性；交通管制雷达能对路面车流量进行监控，来实现智能交通管理。在军事领域，火控雷达可以通过探测目标在空中的位置来对目标进行精确打击；指导雷达可以在探测的同时控制导弹对多个目标进行攻击。传统
2、的雷达多目标跟踪一般采用边扫描边跟踪（Track-While-Scan，TWS）模型，核心技术是跟踪滤波和数据关联2。它通过扫描得到当前帧含噪声的量测，然后估计多个目标的数量以及运动特征（如位置、速度、加速度等），来完成跟踪任务3。在跟踪滤波方面，20世纪60年代提出的卡尔曼滤波算法4能够很好地适应线性状态空间系统。之后扩展卡尔曼滤波算法（Extended Kalman Filtering，EKF）5的应用在非线性系统上获得突破。Juiler等使用无迹卡尔曼滤波（Unscented Kalman Filering，UKF）6来解决滤波发散的问题。随后粒子滤基于 LSTM 子网络聚合的雷达 TW
3、S 跟踪唐知行刘华军（南京理工大学计算机科学与工程学院南京210094）摘要为了提高雷达TWS跟踪的准确性和时效性，解决在高密度杂波环境下传统跟踪算法性能大幅下降和模型依赖问题，论文提出了一种免模型、纯数据驱动、端到端学习的雷达多目标跟踪框架和基于长短期记忆网络（LSTM）子网络聚合的雷达TWS跟踪方法。该方法将含噪声的量测通过数据关联子网络，在多目标、杂波和漏检情况下可正确输出与已跟踪目标的关联矩阵；并通过轨迹预测子网络预测和更新机动目标的运动轨迹；最后使用航迹管理子网络来管理航迹生命周期。通过仿真实验证明了该方法的可行性，与传统TWS跟踪算法相比，该方法具有更高的跟踪精度和关联正确率，而且
4、不依赖复杂的先验运动模型和杂波分布知识。关键词雷达多目标跟踪；长短期记忆网络；数据关联中图分类号TN953+.6DOI：10.3969/j.issn.1672-9722.2023.03.019Radar TWS Tracking Based on LSTM Sub-networks AggregationTANG ZhixingLIU Huajun（School of Computer Science and Engineering，Nanjing University of Science and Technology，Nanjing210094）AbstractAiming at impr
5、oving the accuracy and timeliness of radar TWS tracking and solving the problems of model dependence and the performance degradation of traditional MTT algorithms in a high-density clutter environment，a model-free，data-driven and end-to-end multi-target tracking framework and a radar TWS tracking me
6、thod，based on long short-term memory network（LSTM）sub-networks aggregation is proposed in this paper.Firstly，this method imports the noisy measurement through thedata association sub-network，which can correctly output the association matrix with the existed target in the case of multiple targets，clu
7、tter and missed detection.Then a trajectory prediction sub-network can predict and update the maneuvering targets state.Finally，the trajectory life cycle is managed through the trajectory management sub-network.This approach is demonstrated over asimulation scenario.Compared with the traditional TWS
8、 tracking algorithm，it has higher accuracy of tracking and association，anddoes not require complicated prior motion model and knowledge of clutter distribution.Key Wordsradar multi-target tracking，long short-term memory，data associationClass NumberTN953+.6总第 401期2023 年第 3期计算机与数字工程Computer&Digital En
9、gineeringVol.51No.3639第 51 卷波等改进算法7也被相继提出。在数据关联方面，最近邻（Nearest Neighbor Data Association，NNDA）算法8通常适用于滤波对象较为稀散、杂波干扰少的环境。Bar-Shalom等提出联合概率数据关联算法（Joint Probability Data Association，JPDA）9，适用于中高密度杂波的多目标场景，但只适用计算量小的 场 景。多 假 设 跟 踪 算 法（Multiple HypothesisTracking，MHT）10使用多个测量周期的数据进行持续跟踪，但其过于依赖先验的知识，不适合实时性要
10、求较高的跟踪场景。在航迹管理方面，传统方法使用顺序航迹起始和批处理航迹起始方法。在实际的应用场景中，基于传统方法的雷达多目标跟踪面临诸多挑战。为躲避敌方追踪系统，目标会广泛采用基于电子波和红外的隐身设计，其出现、消失引起的目标数目变化都会使得多目标跟踪系统难以检测或持续。同时由于敌方释放假目标进行干扰，真实目标往往淹没在大量虚假量测中，使其难以被准确跟踪。在这种目标机动性强、检测概率和观测精度较低，且杂波密度高的环境下，目标较精确的数学或物理模型难以建立，传统的雷达多目标跟踪算法的滤波和数据关联的性能往往大幅下降11。随着深度学习的发展，以神经网络为基础的视觉跟踪方法被广泛研究，并且被广泛地应
11、用于视频监控、自动驾驶等领域。LTSM（Long Short-TermMemory）是在 RNN（Recurrent Neural Network）的基础上演变而来，具有由重复模块组成的链式结构，一般适用于时间序列回归或分类等问题。文献12 提出的基于LSTM方法，可以预测交通系统中目标的行为和运动轨迹。Milan等提出的基于RNN的在线端到端的多目标跟踪框架13，能够执行包括目标跟踪、数据关联和跟踪管理等多目标跟踪任务。Xu等提出基于Bi-RNN的DHN网络14，改进传统的匈牙利算法来得到目标分配矩阵，从而解决数据关联问题。但上述方法针对基于视觉的多目标跟踪，在雷达多目标跟踪中基于神经网络的
12、方法的研究较少。本文的主要贡献在于提出了一种免模型、纯数据驱动、端到端学习的雷达多目标跟踪框架和基于LSTM子网络聚合的雷达TWS跟踪方法，并构造数据集分别对三个子网络进行离线训练，然后加载预训练的 checkpoint后聚合成一个雷达 TWS跟踪网络。该网络能够实时有效地完成高杂波背景下的雷达多目标跟踪任务。同时目前深度学习在非视觉的多目标跟踪场景下研究还比较少，本文所提出方法在实验中结果良好，具有广阔的研究前景。2基于 LSTM 子网络聚合的雷达TWS跟踪方法本文提出的基于 LSTM 子网络聚合的雷达TWS跟踪方法分为数据关联、轨迹预测和航迹管理三个网络模块。每个模块都可以单独训练和调试，
13、易于替换和修改。数据关联网络能够将含噪声的量测，在多目标、杂波和漏检情况下正确输出与已跟踪目标的关联概率矩阵。轨迹预测模块网络能够在不需要目标先验运动学模型和杂波分布的情况下，预测和更新机动目标的运动轨迹。航迹管理网络对目标的存在概率进行实时计算，并通过航迹管理决策能够在目标数目不确定，且目标随着时间消失或出现的场景下，对跟踪过程中的目标进行航迹起始、维持和终结管理。该方法能够在线地对时变目标进行跟踪。其跟踪框架示意图如图1所示，输入带杂波的量测，输出目标的跟踪轨迹。LSTMLSTMLSTMdata associationtrajectory predictiont+1t-1tLSTMLSTM
14、trajectorymanagement图1雷达多目标跟踪框架示意图设定在时刻t的观测状态为Zmt，mt代表观测结果的个数；该时刻观测目标的实际状态为Xnt，nt为观测目标的数量；t+1为在该时刻目标与观测结果的关联概率矩阵。基于本方法的数据关联的计算表示为LSTM_DA()，基于本方法的轨迹预测的计算表示 LSTM_Pre()，航迹管理模块中基于LSTM 的目标存在概率的计算表示为 LSTM_EX()。本方法的跟踪实现步骤如下。初始状态：在开始跟踪的第一帧，即t=1的时唐知行等：基于LSTM子网络聚合的雷达TWS跟踪6402023 年第 3 期计算机与数字工程刻，将量测Zmt都当做可能的目标
15、，即nt=mt。为每个观测目标建立对应的数据关联模型、轨迹预测模型和航迹管理模型，将这nt个目标的存在概率t初始化为0.5。步骤1：数据关联，使用数据关联模块对t时刻的目标Xnt与t+1时刻的量测Zmt+1的关联概率t+1进行计算。t+1=LSTM_DA(Xnt,Zmt+1)步骤2：由t+1与mt个观测结果代入公式运算得到z?it+1，并输入到下一帧的目标轨迹预测模型。z?it+1=j=1mtit+1Zt+1,i=1,2,nt步骤3：通过预测公式的计算估计所有潜在目标对象在下一时刻的运动状态。xit+1=LSTM_Pre()xit,z?it+1,i=1,2,nt步骤4：从t+1中得到每个目标的
16、关联概率和t时刻的存在概率t，计算t+1时刻各目标的存在概率。it+1=LSTM_EX()it,it,i=1,2,nt步骤5：由t+1时刻的目标存在概率t+1和航迹管理模块中的航迹决策变量，来判断目标是航迹起始、维持还是终结。步骤6：根据t+1时刻的航迹决策来更新当前跟踪对象的数量。步骤 7：重复上述步骤，直到观测中不再出现新的观测结果。3基于LSTM的子网络模块本文的雷达 TWS跟踪方法的子网络以 LSTM为基本网络结构。LSTM网络是由循环神经网络演化而来，被广泛运用于序列数据建模。它采用以记忆单元来更新和丢弃神经元的信息，解决了RNN网络中存在的梯度爆炸问题，能够有效地保存和传递序列数据中的历史信息。LSTM的结构图15如图2所示。Ct-1ht-1ftxththtCtotC?ttanhtanh图 2LSTM结构示意图其中xt为t时刻的输入向量，ft为遗忘门，it为输入门，ot为输出门，Ct为细胞状态，t为t时刻的输出状态。具体计算过程如下：it=(Wit1,xt+bi)ft=(Wft1,xt+bf)ot=(Wot1,xt+bo)C?t=tanh(Wct1,xt+bc)Ct=ft*
