1、第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023基于空间加权对数似然比相关滤波与Deep Snake的目标轮廓跟踪李豪，袁广林，秦晓燕，琚长瑞，朱虹（中国人民解放军陆军炮兵防空兵学院信息工程系，安徽合肥 230031）摘要：近年来，目标跟踪中目标的状态表示已由粗糙的矩形框转化为精细的目标掩膜.然而，现有方法利用区域分割得到目标掩膜，速度慢并且掩膜精度受限于目标跟踪框.针对以上问题，本文提出基于空间加权对数似然比相关滤波与Deep Snake的目标轮廓跟踪方法.该方法包括三个阶段：在第一阶段，利用提出的空间加权对数似然比相关
2、滤波器估计目标的初始矩形框；在第二阶段，通过Deep Snake将初始矩形框变形为目标轮廓；在第三阶段，根据目标轮廓拟合出跟踪结果.对提出的方法在OTB（Object Tracking Benchmark）-2015和VOT（Visual Object Tracking）-2018数据集上进行了实验验证，结果表明：与现有先进的目标跟踪方法相比，本文提出的跟踪方法具有较优的性能.关键词：目标跟踪；深度主动轮廓；相关滤波；空间加权；对数似然比；视频目标分割基金项目：安徽省自然科学基金（No.2008085QF325）中图分类号：TP391.41文献标识码：A文章编号：0372-2112(2023)
3、01-0105-12电子学报URL:http:/DOI:10.12263/DZXB.20210676Object Contour Tracking Based on Correlation Filters with Spatially-Weighted Logarithm Likelihood Ratio and Deep SnakeLI Hao,YUAN Guang-lin,QIN Xiao-yan,JU Chang-rui,ZHU Hong(Department of Information Engineering,Army Academy of Artillery and Air Def
4、ense of PLA,Hefei,Anhui 230031,China)Abstract:Recently,the state representation of the target in object tracking has been transformed from the coarse bounding-box to fine-grained segmentation map.However,the existing methods use pixel-based segmentation to obtain object mask,which is slow and the ac
5、curacy of mask is limited by the object bounding box of tracking.To solve the above problems,we propose an object contour tracking method based on correlation filters with spatially-weighted logarithm likelihood ratio and deep snake.The method consists of three stages:at the first stage,the initial
6、bounding box of the object is estimated by the proposed correlation filters with spatially-weighted logarithm likelihood ratio;at the second stage,the initial bounding box is deformed into the object contour via deep snake;at the third stage,the tracking results are fitted with the object contour.Ex
7、perimental results on OTB(Object Tracking Benchmark)-2015 and VOT(Visual Object Tracking)-2018 datasets show that the proposed method is superior to the state-of-the-art approaches.Key words:object tracking;deep active contour;correlation filter;spatially-weighted;logarithm likelihood ratio;video ob
8、ject segmentationFoundation Item(s):Natural Science Foundation of Anhui Province(No.2008085QF325)1引言目标跟踪是计算机视觉领域的一个重要研究分支，其目的是利用视频数据估计目标状态.目标跟踪在智能监控、无人驾驶和人机交互等民用领域，以及视觉制导和防空预警等军事领域具有重要的应用价值.近年来，得益于人工智能技术的不断提高和发展，目标跟踪有了较大进步，已经提出了诸多方法131.但是，目标跟踪是一项具有挑战性的任务，仍然面临着“复杂背景、目标变化和快速性要求”等难题.目前，主流的目标跟踪方法有相关滤波跟踪
9、116和孪生网络跟踪1723两类.这些方法使用矩形框表示目标，利用多尺度搜索3、锚框回归1921或无锚框回归22收稿日期：2021-05-26；修回日期：2021-10-18；责任编辑：梅志强电子学报2023 年等方法估计目标状态.但是，使用矩形框表示目标有其自身的局限性：当目标发生形变或旋转时，矩形框表示目标会产生误差，导致跟踪精度降低.与矩形框相比，掩膜为目标提供了准确的形状描述.受视频目标分割24的启发，目标跟踪领域的研究者将分割集成到跟踪中，提出了基于分割的目标跟踪方法2529.SiamMask25在SiamRPN（Siamese Region Proposal Network）19的
10、基础上增加掩膜分支实现目标分割，但它独立处理目标跟踪和分割，未能相互促进和优化.D3S（a Discriminative Single Shot Segmentation tracker）28提出一种单阶段判别式分割跟踪器，通过优化网络将几何不变模型和几何约束欧几里得模型的输出相结合，得到目标掩膜并拟合出矩形框.AFOD（Adaptive Focused Discriminative Segmentation Tracker）29利用交并比（Intersection over Union，IoU）掩膜损失和目标边界检测提升了D3S的掩膜分割精度.上述方法能同时得到目标矩形框和掩膜，提升了跟踪精
11、度.但是，这些方法采用基于区域的目标分割方法，一方面，需要将目标区域特征图归一化为同一尺度，然后对目标区域内每一个像素进行逐点分类；另一方面，需要执行mask上采样等后处理操作.这两个方面导致其存在对跟踪矩形框敏感和速度慢等问题.为了克服这些问题，本文提出基于空间加权对数似然比相关滤波与 Deep Snake32的目标轮廓跟踪方法，称之为OCT-CFDS（Object Contour Tracking based on Correlation Filters and Deep Snake），其总体框架如图 1所示.该方法的工作流程是：首先，利用提出的空间加权对数似然比相关滤波器估计目标的初始矩
12、形框；其次，通过Deep Snake将初始矩形框变形为目标轮廓；最后，根据目标轮廓拟合出跟踪结果.本文的主要贡献和创新点如下：（1）利用 Deep Snake 提出一种基于轮廓分割的目标跟踪方法，提高了分割速度并增强了对目标变化的鲁棒性.（2）提出空间加权对数似然比相关滤波器，自适应融合多特征估计目标的初始矩形框，提升了对复杂背景的鲁棒性.（3）使用OTB-201533和VOT-201834数据集，对提出的方法进行了实验验证，结果表明：本文提出的目标跟踪方法达到了预期的效果，与现有先进的目标跟踪方法相比具有较高的跟踪性能.2相关工作相 关 滤 波 跟 踪 由 于 速 度 快 而 受 到 了 广
13、 泛 关注.2010年，Bolme等人1首次将相关滤波应用到目标跟踪中，提出基于单通道灰度特征的相关滤波跟踪方法MOSSE（Minimum Output Sum of Squared Error）.为了提升目标跟踪的鲁棒性，2014年，Henriques等人2提出基于多通道方向梯度直方图（Histogram of Oriented Gradient，HOG）特征的核相关滤波跟踪方法 KCF（Kernelized Correlation Filter）.早期的相关滤波跟踪虽然速度较快，但是存在尺度观测不准和边界效应等问题，针对这两个问题研究者提出了一些改进方法3.随着深度学习在目标跟踪中应用的深
14、入，融合手工与深度特征的相关滤波目标跟踪成为了研究热点46.2016 年，Danelljan等人4提出一种连续卷积相关滤波跟踪方法C-COT（Continuous Convolution Operator Tracker），融合手工特征与卷积神经网络（Convolutional Neural Network，CNN）特征跟踪目标.2017年，Danelljan等人5提出有效卷积运算跟踪方法 ECO（Efficient Convolution Operators），通过因式分解卷积操作对C-COT进行改进，在目标跟踪速度和精度上寻求平衡.为了实现浅层和深层 CNN 特征自适应融合跟踪目标，201
15、8年，Bhat等人6提出相关滤波目标跟踪方法 UPDT（Unveiling the Power of Deep Tracking），该方法利用二次规划计算自适应融合权重，虽然提高了目标跟踪的鲁棒性和精度，DLA-34手工编码CNN特征CN特征HOG特征第t帧第t帧初始框第t 帧跟踪结果手工编码相关滤波相关滤波相关滤波模板更新滤波器CNN1tCN1tHOG1t空间加权对数似然比相关滤波轮廓分割网络权值更新第t-1帧Deep Snake图1本文方法总体框架和工作流程106第 1 期李豪:基于空间加权对数似然比相关滤波与Deep Snake的目标轮廓跟踪但是速度较慢.孪生网络跟踪是深度跟踪的典型代表
16、.2016年，Tao 等 人17提 出 的 SINT（Siamese INstance search Tracker）首次将孪生网络应用到目标跟踪中，把目标跟踪建模为深度特征模板匹配问题.2016年，Bertinetto等人18提出SiamFC（Siamese Fully-Convolutional），将目标跟踪建模为全卷积深度特征相关问题，不但精度高而且速度快.早期的孪生网络跟踪利用多尺度搜索估计目标的尺度，速度较慢.为此，2018年，Li等人19提出的SiamRPN将目标检测中的RPN（Region Proposal Network）模块应用到孪生网络跟踪中，把目标跟踪建模为锚框的回归和分类问题，提升了跟踪速度.2018年，Zhu等人20提出的DaSiamRPN（Distractor-aware Siamese Region Proposal Networks）利用数据增广和在线干扰物感知模块提高了对相似目标干扰的鲁棒性.2019年，Li等人21利用空间感知采样策略、多层融合和Depthwise相关提出孪生网络目标跟踪方法SiamRPN+，提升了跟踪性能.基于锚框的孪生网络跟踪19
