1、信息通信基于难样本挖掘与混合注意力机制的目标跟踪算法张焱焱，刘嘉敏（沈阳工业大学信息科学与工程学院，辽宁沈阳110 8 7 0）摘要：在SiamFC目标跟踪算法的基础上，提出一种基于难样本挖掘和混合注意力机制的目标跟踪算法。首先，为了改善训练样本的数据分布情况，将图像自身边缘信息填充训练样本尺寸不足的区域来增强背景干扰信息；其次，在模板分支加入残差连接来对目标从不同层级进行特征表达；然后，在搜索分支采用混合注意力模块充分地提取特征信息；最后，使用深度可分离卷积降低模型复杂度。实验结果表明本文算法在遮挡、光照、旋转等复杂场景下具有良好的表现。关键词：目标跟踪；李生网络；难样本挖掘；注意力机制；残
2、差网络中图分类号：TP391Target tracking algorithm based on hard sample mining and attention mechanism(College of Information Science and Engineering,Shenyang University of Technology,Shenyang 110870,China)Abstract:Based on SiamFC target tracking algorithm,a target tracking algorithm is proposed based on diffi
3、cult sample mining and mixedattention mechanism.Firstly,in order to improve the data distribution of training samples,the edge information of the image itself is usedto fill in the area with insufficient training sample size to enhance the background interference information.Secondly,residual connec
4、tionis added to the template branch to express the feature of the target from different levels,and the mixed attention module is then used in thesearch branch to fully extract the feature information.Finally,the depth-separable convolution is used to reduce the complexity of the model.Experimental r
5、esults show that the proposed algorithm has good performance in complex scenes such as occlusion,illumination and rotation.Keywords:target tracking;siamese network;hard sample mining;attention mechanism;residual network1引言目标跟踪是近年来计算机视觉领域的重要研究课题之一，它能够应用于诸多领域。一个健壮的跟踪算法不仅要保证跟踪的精度，跟踪的速度也是十分重要的指标2。因此，同时兼
6、顾速度和精度的李生网络模型近些年来开始在目标跟踪领域占据主导地位。SiamFC(Fully-Convolutional Siamese Networks)3是首次使用李生网络的目标跟踪算法，它使用同一个网络模型对目标区域和候选区域进行特征提取，并对得到的两个区域特征计算相似性来定位目标。而由于李生网络受限于平移不变性的条件，网络模型通常很难提取到足够的信息。即便使用了更深的网络模型，通常也需要更大的计算量和更复杂的图像处理方法，占用内存很大并且训练时间较长。针对以上问题，本文以SiamFC为基准算法，提出了一种基于难样本挖掘与混合注意力机制的目标跟踪算法，提高了跟踪的准确率并保证了实时性。2本
7、文跟踪算法的框架本文所提出的算法是以SiamFC算法为基础，对SiamFC主干网络的模板分支和搜索分支进行改进，在模板分支中引入残差连接以保留模板特征的语义信息，在搜索分支中并行加入通道注意力机制SENetl（Sq u e e z e-a n d-Ex c i t a t i o n Ne t w o r k s）和非局部注意力机制GCNet5（G l o b a l Co n t e x t Ne t w o r k s），突出有用的特征信息并丰富了特征提取能力。使用深度可分离卷积(DepthwiseSeparableConvolution）代替传统卷积方式，不仅能够保证模型的精度，同时还能
8、起到降低模型的参数量和减少计算量的效果，其网络框架如图1所示。收稿日期：2 0 2 3-0 2-16作者简介：张焱焱（1997-)，男，河南周口人，硕士研究生，沈阳工业大学，主要研究方向：计算机视觉；刘嘉敏（196 4-），女，江苏镇江人，博士，沈阳工业大学，教授，主要研究方向：计算机图形学与虚拟现实、计算机视觉。802023年第0 5期(总第 2 45 期)文献标识码：A文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 0 8 0-0 4ZHANG Yanyan,LIU Jiamin其中，模板图像和搜索图像分别作为模板分支和搜索分支的输入，然后对模板图像和搜索图像进行特征提
9、取，并将得到的特征图送入互相关层进行相似性计算，进而得到最终的相似度响应分值图，通过具有最大相似度响应值的点所在的位置来估计目标位置。3本文跟踪算法的实现3.1 难样本挖掘在训练阶段，原有的SiamFC算法使用像素均值进行填充，这导致训练数据中含有的干扰背景太少，模型跟踪能力很难提升。因此，本文提出一种难样本挖掘的数据增强方法，对于训练样本对，将图像自身的边缘信息作为裁剪尺寸不足部分的填充区域。图2 中，左图为模板图像，中间图为SiamFC算法构造的搜索图像，右图为本文算法构造的搜索图像。由于图像自身信息的引入，导致目标样本周围增添了更多的难样本，更贴近真实跟踪场景，能够提高网络模型在训练过程
10、中的鲁棒性。3.2残差连接卷积神经网络在提取目标特征信息时，随着层数的加深，网络提取到的信息也不同。浅层具有更准确的定位信息，深层具有更多的语义信息。何凯明7 提出的ResNet网络的残差连接方法将具有相同特征维度的深层特征和浅层特征相加，丰富了特征表示信息。由于目标跟踪任务需要浅层特征获得的位置信息来对目标定位，并且模型的复杂性会影响跟踪速度，因此本文使用改进后的AlexNet网络作为主干网络提取特征，通过对网络提取到的浅层特征与深层特征进行线性融合，对目标进行不同层级的表达。Changjiang Information&Communications张焱焱：基于难样本挖掘与混合注意力机制的目
11、标跟踪算法残差连接SENotGCNet对应点和回互相关运算模板分支深度可分离卷积混合注意力模块Batch搜索分支atchNort图1本文算法框架图2 预训练样本对示例通道权重最大池化平均池化输入特征权重权重输出特征图3改进后SENet图本算法在模板分支AlexNet网络的第二层卷积后对特征图进行最邻近插值下采样，保留了有效特征。经下采样后的特征维度与最终输出特征维度相同，对这两种特征进行残差连接，将两个特征矩阵逐点相加得到最终特征结果，其结构见图1。3.3混合注意力模块胡杰提出的SENet网络显式地建模特征通道之间的相互依赖关系，使用全局平均池化对特征图进行压缩操作，将每个特征通道转化为一个具
12、有全局感受野的实数。然后进行激发操作，通过学习参数来为特征通道生成权重值，从而建模特征通道间的相关性。本文在SENet全局平均池化的基础上，同时还用最大池化对特征图进行压缩操作，将两种压缩方式得到的通道权重进行相加。这样，最大池化和平均池化并行连接的方式比仅使用平均池化所获得的信息更多，改进后的SENet结构如图3所示。与SENet不同，GCNet的目的是捕获远程依赖关系，对特征图全文信息建模，从全局的角度来理解图像。GCNet框架分为三部分：（1）上下文建模模块：它将所有位置的特征信息聚合在一起，形成全局上下文特征；(2)特征转换模块：建模特征通道间的相关性；（3）融合模块：将全局上下文特征
13、合并为81所有位置特征。其结构如图4所示。本文算法将SENet和GCNet并行连接在搜索分支主干网络的最后一个卷积层后，并将两个分支得到的权值相加作为最终的特征矩阵，其结构见图1。SoftmayerNorlRelu输入特征上下文建模模块图 4GCNet 结构图3.4深度可分离卷积Howard提出的深度可分离卷积由逐通道卷积和逐点卷积两个部分构成。逐通道卷积对每个输入通道单独进行卷积操作，而逐点卷积就是用11大小的卷积核对逐通道卷积的输出结果进行卷积运算，在保证精度不受损失的情况下极大输出特征特征转换模块融合模块Changjiang Information&Communications的降低了参
14、数量和计算量。使用深度可分离进行一次卷积的参数量和普通卷积参数量和普通卷积参数量如式(1)和式(2)所示。D,D,xMxN(1)D,D,M+MN(2)深度可分离进行一次卷积的计算量和普通卷积计算量如式(3)和式(4)所示。D,D,MxW,xH,ND,D,MxW,xH,+MxWxH,N其中，D.表示卷积核大小，输出特征图大小为WxHoxN，M为输入特征图通道数。经比较后发现，深度可分离卷积相比于传统的卷积方式所使用的参数量和计算量都更小。为了保证模型的轻量性质，使用深度可分离卷积代替传统卷积来降低模型的复杂度，提高模型的计算速度。因此将深度可分离卷积应用在AlexNet骨干网络的第三层和第四层，
15、其结构见图1。4实验结果与分析4.1数据集与参数设置在训练阶段，使用GOT-10K9数据集以及本文构造的样本对模型进行训练。学习率初始值为0.0 1，使用随机梯度下降法来优化网络，动量控制为0.9，学习率由10 到10 5呈指数衰减，权重衰减设置为0.0 0 0 5。本文算法使用的深度学习框架为PyTorch1.1.0，编程语言为Python3.6，实验操作系统为Windows10，内存32 GB，C PU 为Intel i9-9900 x3.5GHz,GPU为NVIDIARTX2080Ti，为验证模型的性能以及实时性，在OTB100l0数据集上与目前主流的跟踪算法进行了对比实验。OTB100
16、数据集包含了10 0 组视频序列，包含了光照变化、尺度变化、遮挡、复杂背景、离开视野等11个复杂场景。4.2实验结果与分析OTB100数据集采用欧式距离精确度和重叠成功率这两个指标来评估跟踪算法的性能。欧式距离精确度是指计算跟踪预测框和真实标注框的中心位置的欧式距离；重叠成功率是指跟踪预测框和真实标注框的交并比大于指定阈值的帧数和视频帧总数的比率。为验证算法有效性,本文算法分别与DeepSRDCFll、Si a-mRPN12、CFNe t 13、St a p l e l 4、f D SST 15 主流算法和基准算法Sia-mFC进行了对比试验。实验结果如图5所示。10.9F0.8F0.70.60.50.40.30.20.10张焱焱：基于难样本挖掘与混合注意力机制的目标跟踪算法DeepSRDCF0.6350.9D-SiamRPN 0.6320.8*本文算法0.5930-CFNet0.5870.7SiamFC0.586mStaple0.5780.6fDSST(0.5170.50.4(3)0.3(4)0.20.1F00图5本文算法与其他算法在OTB100上的精确度和成功率对比从图5可以看出，
