1、 年月第 卷第期计算机工程与设计 基于自动数据增强的不变性跨域行人重识别胡宴，杜逆索，欧阳智（贵州大学 计算机科学与技术学院，贵州 贵阳 ；贵州大学 贵州省大数据产业发展应用研究院，贵州 贵阳 ）摘要：针对随机数据增强的不确定性和模型迁移过程中自身性能受限的问题，提出一种基于自动数据增强的不变性跨域行人重识别模型。利用自动数据增强策略对源域和目标域数据进行增强，在 中引入外观不变形使图像的外观变化不会影响模型输出，联合交叉熵损失函数和圆损失函数对源域进行监督学习，通过学习目标域内的变化适应源域与目标域数据分布差异。所提模型在公共数据集 、和 上进行比较分析，验证了模型的有效性，结果表明，相比目
2、前一些跨域行人重识别先进算法，所提算法效果有明显提升。关键词：深度学习；行人重识别；跨域；数据增强；图像差异；域内变化；外观不变性中图法分类号：文献标识号：文章编号：（）：收稿日期：；修订日期：基金项目：贵州省科学技术厅重大科技计划基金项目（黔科合重大专项字 ）；贵州大学培育基金项目（贵大培育 号）作者简介：胡宴（），男，四川达州人，硕士研究生，研究方向为行人重识别；通讯作者：杜逆索（），男，贵州六盘水人，博士，副教授，专业会员，研究方向为数据科学、区域治理、社会仿真模拟；欧阳智（），男，四川安岳人，博士，副教授，硕士生导师，研究方向为机器学习、大数据治理。：，（，；，）：，：；引言对于基于深
3、度学习的跨域行人重识别，在拥有大量良好数据的情况下，深度学习能够在大量的任务中获得良好的性能表现。因而近几年出现了很多数据增强策略，例如：、和 是最近被提出的随机替换或遮挡图像方法，在图像识别任务中获得了很好的效果。这些基于手工的数据增强是根据设计者的专业知识手工设计的，其增强效果往往具有很大的不确定性。另一方面跨域行人重识别还存在的一个关键问题就是源域与目标域图像差异问题。近些年，有许多学者通过研究改进神经网络结构来解决这个问题。例如应用最广泛的残差网络（计算机工程与设计 年 ）利 用 来 缓 解 深 网 络 训 练 困 难 的 问 题。等提出的 通过增加 的基数来提高建模能力。等提 出 使
4、 用 来 取 代 连接，它被验证比 更有效。但这些体系结构都简单地由卷积层、和池化层组成，它们之间唯一的区别是如何组织这些模块，而这些层的组成自然容易受到外观变化的影响。针对上述问题，本文提出基于自动数据增强的不变性跨域行人重识别网络，结合跨域和自动数据增强策略以及一个新的 体系结构来提高模型泛化能力。利用自动增强策略能够为源域数据集找到有效数据增强策略，并且能够将找到的自动增强策略迁移到目标域中，从而有效解决跨域的数据增强问题。本文还利用（）学习到的特征不受图像外观变化影响的特点，以及（）可以保存特征内容不变性的性质，将 和 组合成 集成到 中，在不增加计算能力和参数量的情况下，提高模型泛化
5、能力。从而使得模型本身能够适应跨域行人重识别中多个数据集并且数据集间差距较大的问题。网络结构 主网络本文主网络结构如图所示，首先将带标签的源域数据集和不带标签的目标域数据集作为网络的输入，然后将输入的图片通过自动增强策略进行预处理。对于自动数据增强策略，该模块中含有一个搜索空间和搜索算法，搜索空间中又会有许多数据增强的具体子策略，这些子策略是增强的具体操作以及运用这些操作函数的概率、操作的幅度大小。当需要对图像进行增强时，首先为小批量中的每个图像随机选择一个子策略，然后再利用搜索算法找到哪个子策略对该图像效果最好，通过迭代这个过程直到找到该数据集的一个最佳数据增强策略，最后将找到的策略迁移到目
6、标域中。使用预训练的 作为基础主干网络，由于图像在网络浅层中外观差异较大，到了深层外观差异会减小。为解决图像在浅层的外观不变性而不影响图像的特征内容，对基础主干网络进行改进，首先在浅层中同时加入 和，在深层只使用 。由于 学习对形状的变换，比如颜色、风格、虚拟的或现实的不敏感的特征，而 可以保存数据的特征信息。因此，本文改进的主网络能够使模型学习捕获和消除外观的变换，同时保持学到的特征的区别性，并且在迁移到目标域的时候不需要目标域的数据就能够提高网络的表现，从而提高模型的泛化能力。源域的监督学习由于源图像的身份是可用的，我们将源域的训练过程视为一个分类问题。本文利用交叉熵损失函数和圆损失函数组
7、合来优化网络，交叉熵损失函数表述为 （，）（）其中，为训练样本中的源域图像数，（，）为源域图像，属于，身份的概率。图主网络结构本文还使用 等提出的 来优化源域的分类任务，在和上能进行平衡的优化、梯度会逐渐减弱、收敛目标更加明确，源域的 为 （）（）（）（）其中，和是非负整数权重因子。以前的 对相似性得分的权重是一样的，通过和去自适应加权，使优化更加灵活。当一个相似性得分与最优值偏离较远，将分配较大的权重，从而对它进行强烈的优化更新。为此，本文将和分别定义为（）其中，和为和的最佳值。源域的损失函数为叉熵损失函数和圆损失函数的联合函数，为 （）其中，是控制两个损失函数比重的超参数，经过实验对比本文
8、取值为 。使用标记源数据训练的模型在同一分布式测试集上产生很高的高精度。但是，当测试集与源域分布不同时，性能将严重恶化，因此通过有效的数据增强策 略以及 改进第 卷第期胡宴，杜逆索，欧阳智：基于自动数据增强的不变性跨域行人重识别 网络结构来克服这一问题。数据自动增强本文引入的自动数据增强方法在源域上找到源域最佳的增强策略，然后将该策略迁移到目标域中。首先，自动增强方法在源域中利用源域数据查找其最佳增强策略，主要包括两个部分：一个搜索算法和一个搜索空间。方法的关键是控制器应用相关增强策略用于训练固定结构的网络，验证准确率返回更新控制器。其中每个搜索空间包含多个增强策略，每个增强策略有多个子策略，
9、每个子策略又由多个图像增强操作组成，如剪切、旋转等。每个操作有两个参数：概率，幅度。当然不是所有的操作都要有幅度，比如翻转，用表示操作，表示输入的图像数据，从而可以表示为?（；，）（；）：（）搜索空间的输出为（）?（）?（）（）（）本文的搜索算法使用密度匹配算法来查找搜索空间中最佳的增强策略，将算法的分类模型设为，模型中的全部参数设为，数据集为，对于给定的数据集和模型，期望准确度为（），期望损失为（）。然后将数据集 分为和，用学习参数，用于寻找增强策略，其中，希望满足 （）（）是最理想的增强策略，希望在经过增强后，模型（）能够达到最好的效果。在保持模型参数不变的情况下，模型在以及在经过增强策略
10、增强后的上都能达到最好的效果，则表明该增强策略是有效的。当在源域中找到其最佳增强策略后，将该增强策略迁移到目标域中，在迁移到目标域后对增强策略的权重进行微调。利用增强策略同时对源域和目标域进行数据增强，提高模型精确度。外观不变性本文通过在 中引入外观不变性来解决图像在外观上的差异，即将实例归一化（）和批量归一化（）加入到 结构中构造 。由于不同数据集图像在亮度、颜色、风格等方面存在巨大差异，如图所示，表示一张图像不同的色调，亮度和风格。而图像之间的外观差异主要存在于网络的浅层，为了解决这些外观差异，本文在网络的浅层引入，首先在网络浅层这些图像经过编码，然后这些图像在一个批次的同通道内做归一化（
11、），最后通过解码器得到消除外观差异的图像，其过程如图所示。随着网络深度的增加，图像在风格上的差异越来越小，但在语义上面的差异越来越大。而 把一个 的数据在同通道的部分进行了归一化，这增强了特征间的差异性，但是对于数据本身固有的光照、色 度 等 信 息 进 行 了 破 坏。所 以 不 适 合 用 于 而适合 ，而 则是很好保留了图像本身的信息，所以更适合 。简而言之，学习到的特征属于外观风格的不变性，而 是学到了特征之间的差异性。所以 适合用于网络的浅层，而 适合用于网络的深层。为了防止削弱模型在深层结构对于内容区分能力的削弱，模型后端不加，同时为了增强模型在浅层结构对于内容信息的学习，模型前端
12、会保留部分，这使得本文所提网络模型能够适应多样的数据集。结构如图所示，在 的前组 使用 和 的组合，对于更深层的 只是用。图图像外观变化图外观不变性图 结构计算机工程与设计 年 目标域的不变性学习由于行人重识别的图像采集自真实场景下，故采集的行人图像在外观上会有差异，甚至是同一个人的行人图像也有较大差异，为了使同一行人之间的图像具有最高的相识度，同时拉大不同行人图像之间的距离。本文将每张图像看着单独的一类，对于目标域图像，用余弦距离计算其特征与存在内存中的特征之间的相似度，为目标域图像类别，利用 函数预测，属于第类图像的概率（，），其中（，是为了保持特征分布平衡的平衡因子。损失函数即可表示为（
13、，）（，）（，）（）为了保证行人图像在迁移之后 不变，使用式（）的相机不变性拉近同一个行人的原图像和迁移后图像之间的距离，同时远离其它行人图像 （，）（）对于目标域中的每张图像，目标域中可能存在其正样本，对于图像，用余弦距离计算其图像特征（，）与存在内存中其它图像之间的相似度，根据相识度找到与，最接近的张图像索引（，）。这张图像最有可能与，具有相同的，故让图像，和张图像共享，但这种伪标签是不可信的，所 以给 它 们赋 予 相 应的 权 重，权重如下，（，）（）对于，自身赋予，其余赋予的权重，损失函数可表示为，（，），（，）（）根据式（）、式（），目标域损失函数可表示为 ，（，）（）最后，本模型
14、的总损失函数可表示为（）（）式（）中为控制源域与目标域损失函数的占比，取值范围为，经过实验本文取 。实验及结果分析 数据集和评估指标为了验证本文算法的有效性，本文在 和 以 及 数 据 集 上 进 行 测 试。包 含个 摄 像 头 拍 摄 得 到 的 个 行 人，共 张行人图像。个行人的 张图像用于训练，个行人的 张图像用于测试，张行人图像用于查询。包 含 个 摄 像 头 拍 摄 得 到 的 个行人，共 张行人图像。个行人的 张图像用于训练，个行人的 张图像用于测试，张行人图像用于查询。由包含 个户外摄像头和个室内摄像头总共 个摄像头，并且在校园内天气各不相同的天里拍摄而成。在这天中每天采集小
15、时，这些图像包含了一天中除了晚上的各个时间段。该数据集的训练集有 张行人图像，来自于 个行人。测试集这包含了 张行人图像，来自于 个行人。对于测试集，张图像被随机选出来作为 ，而其它 张图像作为 。常用的行人重识别评估主要有首次命中率（）平均准确率均值（，）。表示搜索结果中最靠前的张图有正确结果的概率，衡量的是模型在单个类别上判断结果的好坏，衡量的是模型在所有类别上的好坏。假设系统返回 张检索到的图像，分别为，设有类，则每个查询数据的评价精度 计算公式如式（）所示，平均精度 计算公式如式（）所示（）（）实验环境与参数本文实验框架为 ，编程语言为 ，服务器硬件基础为 ，内存为 ，计算机操作系统为
16、 。实验 选用 ，并使用 上预训练的参数初始化网络权重。将图像大小调整到 ，每次训练在训练集中取 个样本训练。权重衰减系数为 ，初始学习率为 ，为 。使用 优化器优化模型。消融实验为了验证各个模块对模型性能的效果，本文进行了相应的消融实验，各个模块的实验结果见表。其中 表示 ，表示数据自动增强模块，表示 网络模块，表示联合损失函数模块。在加入数据自动增强模块后，从 迁 移 到 的 和 分 别 提 高 了 、，从 迁 移 到 的 和 分别提高了 、。说明自动数据增强策略能够为数据集找到一个特定的增强策略，与随机数据增强相比能够更加有效增强数据，对提高精度有促进作用。在加入 模块后模型效果也有了更加明显的提升，从 迁移到 的 和 分别提 高 了 、，从 迁 移 到 的 和 分别提高了 、。体现第 卷第期胡宴，杜逆索，欧阳智：基于自动数据增强的不变性跨域行人重识别表不同模块效果模块 （）了将 模块加入到 网络中后网络模型能够消除不同数据集图像之间存在的风格、颜色和亮度等外观差异性，使得模型本身就能很好的适应不同图像间的外观差异，从而提高模型的泛化能力。最后在同时加入数据自动增强模块、网络模块