1、基金项目:国家自然科学基金项目(61572244);辽宁省自然科学基金项目(201602372)收稿日期:20210323修回日期:20210604第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02022305基于特征融合的遮挡行人重识别方法黄印，周军，梅红岩，郑岚卉(辽宁工业大学 电子与信息工程学院，辽宁 锦州 121001)摘要:行人重识别是一项解决跨场景跨摄像头下的行人识别问题的技术。当障碍物遮挡行人的某些部位时，人物结构的完整性会被破坏，影响识别效果或难于识别。针对行人重识别的遮挡问题，提出了一种新的遮挡行人重识别方法，引入关系感知全局注意力
2、机制，融合全局特征和局部特征来进行行人重识别。识别方法的主要组成部分包括局部分支、全局分支和特征融合分支等。局部分支通过遍历局部特征来增强鲁棒性;全局分支通过利用关系感知全局注意力来挖掘行人显著性的信息;特征融合分支通过自适应地生成特征权重，利用加权求和的方式来融合全局特征和局部特征。实验验证了所提方法的有效性，并且有效提升了行人重识别的效果。关键词:行人重识别;关系感知全局注意力;全局特征;局部特征;特征融合中图分类号:TP391文献标识码:BOccluded Person eIdentification Method Based on Fused FeatureHUANG Yin，ZHOU
3、 Jun，MEI Hongyan，ZHENG Lanhui(School of Electronic Information Engineering，Liaoning University of Trchnology，Jinzhou Liaoning 121001，China)ABSTACT:Person reidentification aims to achieve pedestrian retrieval across different times，places，or camerasWhen a person is partially occluded，it might lead to
4、 wrong retrieval results if a model does not differentiate the ob-struction region and the person region To solve the occluded person reidentification problem，a new occluded personreidentification method is proposed The proposed method uses a relationaware global attention mechanism and fu-ses globa
5、l and local features The main components of the proposed method include local branch，global branch，andfeature fusion branch The local branch enhances robustness by traversing local features The global branch uses rela-tionaware global attention to mine pedestrian saliency information The feature fus
6、ion branch adaptively generatesfeature weights and fuses global feature and local features in a weighted summation way Experimental results showthat the proposed method is effectiveKEYWODS:Person reidentification;elationaware global attention;Global feature;Local features;Feature fu-sion1引言行人重识别是一项解
7、决跨场景跨摄像头下的行人识别问题的技术1。它是计算机视觉领域一个重要的研究课题，具有多种应用，如自动驾驶、视频监控和活动分析等24。根据网络输出特征类型，行人重识别方法主要有两类，即基于全局特征的方法和基于局部特征的方法5，6。基于全局特征的方法主要利用网络提取一个包含行人全局信息的特征，方法在推理阶段计算快速，但易受到行人姿态变化、遮挡等因素影响7，8。基于局部特征的方法主要利用网络手动或者自动地提取关键的局部区域的特征，方法更关注骨架、姿势、人体部件等关键区域，具有更好的抗干扰能力。Sun 等人对局部特征方法进行较为深入的研究，提出了一种分割特征空间的 PCB 方法9，将特征在水平方向划分
8、为 6 块，简单且有效地利用局部特征。Wang 等人提出一种多粒度模型MGN10，整合局部特征和全局特征，并使用三元组损失对特征进行约束。Zheng 等人提出了一种渐进式金字塔方法11，增加行人的全局特征与局部特征之间的渐变联系。障碍物遮挡行人的现象非常普遍，既破坏人物结构的完322整性，又增加行人重识别难度。针对行人重识别的遮挡问题，本文提出了一种基于特征融合的遮挡行人重识别方法，引入关系感知全局注意力机制，对全局范围的结构信息建模，实现灵活提取行人特征;根据行人特征自适应地生成特征权重，以此作为行人重识别模型对行人遮挡区域的判断，并融合全局特征和局部特征来进行行人重识别。实验验证了所提方法
9、的有效性，并且有效提升了行人重识别的效果。2一种新的遮挡行人重识别方法本文提出一种基于特征融合的遮挡行人重识别方法。局部特征关注行人细节区域，而全局特征关注行人外观，将两者进行特征融合可以对受遮挡的行人进行更全面的描述。网络的基础模型的组成主要包括局部分支、全局分支、特征融合分支以及主干网络。局部分支采用特征空间分割的方式来提取局部特征，在行人图像中学习不同区域的差异性;全局分支嵌入注意力机制来提取全局特征，指导模型关注行人图像的非遮挡区域;特征融合分支将局部特征和全局特征结合起来，提取出更具有判别性的融合特征;主干网络采用esNet50 来提取图像特征，esNet50 包含 1 个卷积层和
10、4 个残差块，每个残差块包含若干卷积层、BN 层和 eLu 激活函数。特征提取完成后，利用交叉熵损失和困难三元组损失，保证模型学习到具有辨别性的特征。基于特征融合的遮挡行人重识别方法示意图，如图 1 所示。图 1基于特征融合的遮挡行人重识别方法示意图2.1局部分支关键区域的局部特征可以减少行人复杂化的影响，从而降低行人重识别的难度。局部分支根据人体结构，将人体特征图进行横向分割，提取具有判别性的局部特征。局部分支首先接收来自主干网络提取的特征图 A，其尺寸为 2048248。然后，将特征图 A 在竖直方向均匀分割为 M 块，分别对每个部分进行全局池化(Global Average Poolin
11、g，GAP)和 11的卷积操作，得到局部特征 h1，h2，hM，其中，每个局部特征的尺寸为 2561。局部分支采用 Szegedy 等人提出的标签平滑正则化(Label Smoothing egularization，LS)12。LS 是分类任务中防止过拟合的常用方法，其思想是给非真实类别赋予一个非零的较小值，鼓励模型不要过度关注真实类别。运用 LS策略后，行人图像的标签分布为pi=1+/N，i=y/N，i y(1)其中，N 为训练样本中行人总数，是超参数，文中设置为0.1，y 为行人图像的真实标签。对每个局部特征使用全连接层和 softmax 激活函数得到分类结果，如式(2)所示pi=sof
12、tmax(Whi+b)(2)其中，W、b 分别是全连接层的权重和偏置向量。p是行人身份的预测概率。利用交叉熵损失函数来计算局部分支损失，如式(3)所示Lp=Mn=1pilogpi(3)其中，M 是分割的块数，文中设置为 6。2.2全局分支由于摄像头的位置、拍照时间以及行人角度等因素的影响，在图像中行人的可见部分占比较小，图像中遮挡物占比较大。对于这类受遮挡的行人图像，如果仅使用基本的 es-Net50 网络来学习全局特征，模型提取的特征不够代表性，同时易引入干扰因素。因此，本文将全局分支和关系感知全局注意力机制(elationAware Global Attention，GA)13 相结合，提
13、取出更具有代表性的行人全局特征。关系感知全局注意力机制 GA 是 Zhang 等人在 2020 年提出的13，与传统注意力机制相比，GA 对全局范围的结构信息建模，可以更好的挖掘行人语义信息。在全局分支中，首先通过 11 的卷积层将特征图 A 进行降维操作，并利用 GA 增强特征表现力，抑制不必要的特征。接下来，利用 GAP 和 11 的卷积操作，得到全局特征 F。其中，全局特征的尺寸为 2561。全局分支采用 Hermans 等人提出的困难三元组损失(Hard Triplet Loss，HTL)14。三元组损失是一种广泛应用于图像检索领域的排序损失(anking Loss，L)，具有减小类内
14、间距，增大类间间距的特性。与交叉熵损失相比，三元组损失的两种特性使得三元组损失更加适用于全局特征的训练。与传统三元组损失不同，困难三元组损失将最难正例样本和最难负例样本作为困难三元组。由于专注于难样本的训练，困难三元组损失在检索任务的准确率和模型的训练速度方面优于传统三元组损失。从数据集中采样 P 个行人类别，并从每个类别中随机选出 K 张行人图像，全局分支损失如式(4)所示Lg=Pi=1Ka=1 m+maxp=1KFia Fip2 minj=1Pn=1KjiFja Fjn2+(4)其中，Fa、Fn、Fp分 别 是 锚 点 样 本(anchor)、正 例 样 本(positive)、负例样本(
15、negative)的特征向量表示，正例样本和负例样本分别代表与锚点图像具有相同身份标签和不同身422份标签的样本;m 是设定的间隔参数，文中设置为 0.3。2.3特征融合分支为了得到更健壮的行人特征表示，本文利用特征融合的方式把提取到的全局特征和局部特征进行特征融合。对于行人图像，每个部件的重要程度是不同的。若简单地利用add 或 concat 操作来进行特征融合，可能会降低部件信息带来的益处。因此，本文根据行人部件显著性程度，设计一种自适应地生成部件权重的权重生成模块。权重生成模块由全连接层 FC 和激活函数 Sigmoid 组成，将全局特征 F 作为输入，输出每个部件的权重 w1，w2，w
16、6。权重生成模块示意图如图 2 所示。图 2权重生成模块示意图对每个部件以加权求和的方式，计算融合特征 G，如式(5)所示G=Mi=1wkhk(5)其中，M 是部件数，文中设置为 6。特征融合分支采用困难三元组损失，如式(6)所示Lf=Pi=1Ka=1 m+maxp=1KGia Gip2 minj=1Pn=1KjiGja Gjn2+(6)其中，Ga、Gn、Gp分 别 是 锚 点 样 本(anchor)、正 例 样 本(positive)、负例样本(negative)的特征向量表示，正例样本和负例样本分别代表与锚点图像具有相同身份标签和不同身份标签的样本;m 是设定的间隔参数，文中设置为 0.3。总的损失函数 L 包括局部特征损失 Lp、全局特征损失 Lg和特征融合损失 Lf，如式(7)所示L=Lp+Lg+Lf(7)其中，和 是平衡损失的权重因子。3实验文中使用的实验环境是学院实验室现有环境，实验设备为一台装有 Tesla P100 显卡、Intel Xeon CPU 的服务器，服务器的内存为 13 GB，操作系统为 Ubuntu16.04，算法程序用Python3.7 版本的 Pyto