1、第 卷第期杭 州 电 子 科 技 大 学 学 报（自然科学版）年月 （）：基于深度残差网络的轻量级指静脉识别算法牟家乐，沈雷，刘浩，郑鹏（杭州电子科技大学通信工程学院，浙江 杭州 ）收稿日期：作者简介：牟家乐（），男，研究方向：数字图像处理。：。通信作者：沈雷，教授，研究方向：数字图像处理、模式识别。：。摘要：提出一种基于深度残差网络的轻量级指静脉识别算法。首先，以 为基础，使用深度可分离卷积代替传统卷积，加入（）注意力机制模块来提取手指静脉空间域上的细节特征，并引入宽度缩放因子，进一步压缩网络；其次，在训练中引入教师学生网络模式，对轻量级深度残差网络进行知识蒸馏训练，并使用知识蒸馏损失、和交
2、叉熵损失对网络进行联合监督，解决了轻量级深度残差网络因学习参数量较少引起的性能下降问题。分别在 数据集、数据集和 数据集上进行仿真实验，结果表明，同基于轻量级网络 的识别算法相比，提出的算法有效提高了零误识识别率和 排序性能。关键词：指静脉识别；网络压缩；知识蒸馏；宽度缩放因子；深度学习中图分类号：文献标志码：文章编号：（）引言随着网络技术的迅速发展，人们更加关注个人信息的安全。生物识别技术具有更高的安全性和便利性，备受青睐。应用较为广泛的生物识别技术主要有指纹识别、人脸识别和虹膜识别等。手指静脉不易被复制和伪造，其识别技术具有更快的识别速度和更高的安全性，应用广泛。指静脉识别技术主要分为传统
3、方法和深度学习方法。传统指静脉识别方法主要是将提取的指静脉纹路、纹理以及细节点等作为指静脉特征进行识别。文献 提出一种基于局部最大曲率的特征提取算法，提取到的特征不易受静脉宽度和亮度波动的影响，特征更加稳定。文献 采用 小波结合圆形 滤波器的方法来提取静脉网络，提高了识别性能。文献 提出一种对称邻域交叉图结构的指静脉算法，利用中心像素点和邻域像素点之间的局部纹理信息提取像素点周围的邻域特征，有效提高了手指在特殊姿态下的识别性能。虽然这些传统指静脉算法能够较好地提取静脉的特征，但泛化能力较弱，识别性能易受姿态变化等因素的影响。深度学习具有精度高、耗时短等特点，逐渐应用于手指静脉识别系统。文献提出
4、一种基于改进残差网络的指静脉识别算法，提高了识别率，但网络结构复杂，网络的参数量较大。文献 在 和 中加入深度可分离卷积，构建了轻量级指静脉识别网络，并通过知识蒸馏训练提高了网络的性能，但改进的 和 网络结构较为简单，网络学习能力受限，泛化能力不强。文献 提出一种轻量级网络结构，网络的参数量小，计算速度快，广泛应用于人脸识别等方面。在 网络基础上，本文提出一种基于深度残差网络的轻量级指静脉识别算法，使用深度可分离卷积结合宽度缩放因子构建轻量级网络，并采用知识蒸馏的训练方法，提升了轻量级指静脉残差网络的识别性能。轻量级深度残差网络结构本文结合深度可分离卷积和 注意力机制构建残差块，将残差块和宽度
5、缩放因子结合起来，设计了一种轻量级深度残差网络（，），其结构如图所示。主干网络采用 结构，包括卷积层、批归一化 层和 激活层，至 分别由个、个、个、个基于深度可分离卷积和 注意力机制的残差块组成。由于网络中的参数量主要存放在 中，所以本文取宽度缩放因子和 分别作用于 的输入输出通道。在特征提取阶段，通过自适应平均池化（）提取特征向量。特征向量通过 损失和交叉熵损失计算得到损失值，教师网络和轻量级深度残差网络的特征向量依次经过 损失和 散度损失计算得到知识蒸馏损失值，将所有的损失值相加后，进行反向传播更新网络参数。图 整体网络结构图图基于深度可分离卷积和 注意力机制的残差块 基于深度可分离卷积和
6、 注意力机制的残差块本文使用深度可分离卷积代替传统卷积，在每次卷积之前都进行批归一化处理，这样不仅加快了网络的收敛还能更好地学习手指静脉的特征。基于深度可分离卷积和 注意力机制的残差块结构如图所示。同 相比，非线性激活函数 有更大范围的非饱和区，能有效解决 激活函数带来的神经元死亡问题，故本文采用 激活函数作为网络的激活层。同时，注意力机制模块的加入使得网络在学习过程中能够有效利用不同通道之间的信息自适应学习评估不同通道的重要程度，增强手指静脉的纹理特征，从而提高网络的表达能力。宽度缩放因子深度学习模型往往部署在移动端或者嵌入式设备上，因为硬件资源有限，所以需要更小的模型以及计算量。在深度可分
7、离卷积的基础上，等使用宽度缩放因子来构建更加轻量级的网络。可调节超参数宽度缩放因子的取值范围为（，作为输入输出通道的系数，可直接改变输入输出的通道数，从而达到均匀减负每层网络的效果。当输入特征图尺寸为，通道数为，输出特征尺寸为，通道数为，卷积核尺寸为时，标准卷积层的计算量为。深度可分离卷积则是用逐通道卷积和逐点卷积代替标准卷积过程，其计算量为，是标准卷积计算量的（），大大压缩了网络。在此基础上，使用宽度缩放因子继续轻量化，当宽度缩放因子分别作用于输入输出通道时，计算量为，是深度可分离卷积计算量的倍，进一步减少了计算量。所以，本文将宽度缩放因子作用到参数量较多的 输入输出通道。损失函数深度可分离
8、卷积和宽度缩放因子的加入使得 网络更加精简，但如果直接训练 ，很难杭州电子科技大学学报（自然科学版）年学习到稳定的指静脉特征，导致网络的泛化能力下降，影响识别性能。所以，本文在 训练过程中引入知识蒸馏的思想，运用残差块 结合 注意力机制模块构建教师网络 ，对 进行知识蒸馏训练。训练过程中，在使用交叉熵损失和 损失监督学生网络的同时，增加教师网络和学生网络之间的蒸馏损失共同监督和指导学生网络，以达到学生网络接近教师网络性能的效果。交叉熵损失函数采用类间竞争机制，擅长学习不同类型手指间的信息，但在识别指静脉过程中，往往出现手指平移、轴旋转等情况，增大了同类型手指静脉图像之间的差异，损失的引入能很好
9、地解决因类内距离增大导致网络不易收敛和泛化能力较差等问题。本文定义 表示没有进行知识蒸馏训练的网络，表示通过知识蒸馏方式训练的网络。通过知识蒸馏方式训练的损失函数如下：（）式中，为网络通过知识蒸馏方式训练的总损失，为交叉熵损失，为 损失，为蒸馏损失。交叉熵损失为：（）式中，为训练中一个批次所包含手指静脉图片的数量，为手指静脉的类别数，为第张指静脉图像对应的特征向量，表示对应的类别，表示当前手指静脉类别的权重矩阵的第列，为偏置项。损失为：（）（），（，）（）式中，为放缩系数，.为角度增量惩罚项，表示当前手指类别权重与手指静脉图像对应特征向量之间的夹角，（，）为负余弦相似度函数。（，）（）（）（）
10、（）（）（）（）（）（）式中，为自适应估计参数，（），.为动量参数，（）为第个 的正余弦相似度的平均值。蒸馏损失为：（，）（）式中，为计算 散度的损失函数，为本文教师网络软化后的输出，为 网络软化后的输出。（）（）（）（）式中，和分别为本文教师网络 和 的 层输出，为知识蒸馏过程中的温度系数，作用在本文教师网络和 的 层，本文设置温度系数。仿真实验及分析实验所用服务器 为 ，版本为 ，深度学习框架为 ，学习率初始值为 ，共进行 轮训练，每隔轮学习率的值衰减 倍，训练批次为，使用 优化器对网络参数进行优化。第期牟家乐，等：基于深度残差网络的轻量级指静脉识别算法 数据集在马来西亚理工大学指静脉集
11、和笔者实验室自主采集的 和 数据集上进行仿真实验。数据集是马来西亚理工大学从 位志愿者中采集得到的，分个阶段采集，每个阶段每人采集根手指信息，每根手指采集次，共有 根手指，每根手指有 张图像，共计 张。按照:划分训练集与测试集，并选取 根手指图像作为原始训练集，经过旋转、平移、缩放等方式进行扩充，得到扩充训练集，剩余 根手指图像作为测试集。数据集由笔者实验室进行采集整理，包括 人的手指信息。采集过程中，手指均为正常放置，每人采集根手指信息，每根手指有张图像，共 张。按照:划分训练集与测试集，选取 根手指作为原始训练集，对原始训练集进行平移、旋转等操作进行扩充，剩余 根手指图像作为测试集。数据集
12、由实验室自主进行采集整理，共包括 人的手指信息，每人采集根手指信息，每根手指采集 张图像，每根手指包含正常、弯曲、重压、上移、下移、平面左旋转、平面右旋转、轴左旋转和右轴旋转这种不同姿态的放置，共采集图像 张，作为手指在特殊姿态放置下的测试集。网络性能评价指标本文使用 曲 线 和 排 序 来 评 估 网 络 的 性 能。曲 线 中，横 坐 标 误 识 率（，）指不同用户手指静脉图像被误判为同一个用户手指静脉图像的比例；纵坐标拒识率（，）指同一用户手指的不同指静脉图像被误判为不同用户手指图像的比例；零误识识别率指在识别过程中 为时的正确通过率。通过统计 排序成功的次数来比较 排序，选择每根手指的
13、第张静脉图像作为模板，剩下图像作为验证图像，验证图像分别跟同类手指的模板和其他类手指全部的静脉图像进行比对，统计模板排序为第的比例。特征图可视化分别对 、指静脉改进残差网络、和本文教师网络 进行特征图的可视化输出，由于图像的高级语义特征较为抽象，所以本文均对网络浅层的特征图进行观察，不同网络的特征图如图所示。图不同网络的可视化特征图杭州电子科技大学学报（自然科学版）年从图 可以看出，和 、指 静脉改进残 差 网 络、相比，提取的手指静脉信息更加连贯和清晰，特征分布更加稳定，对静脉纹理及细节信息的学习仅次于本文教师网络 。可见通过知识蒸馏的训练方式，本文教师网络 学习到更加稳定的指静脉特征并很好
14、地传授给了 。性能分析在测试集 ，和 上，分别使用 、指静脉改进残差网络、和本文教师网络 进行特征的提取和识别性能分析。不同网络在测试集 和 上的 曲线如图所示。图不同网络的 曲线从图可以看出，本文教师网络 的 最低，的 仅高于本文教师网络 。当 为时，在 和 测试集上，的零误识识别率明显优于 、指静脉改进残差网络、和 。可见，能学习到更加稳定的手指静脉特征，有效提高了网络的零误识识别率。不同网络在测试集 和 上的 排序如表所示。表不同网络的 排序单位：网络类别 测试集 测试集 指静脉改进残差网络 本文教师网络 从表 可 以 看 出，的 排 序 性 能 均 高 于 、指 静 脉 改 进 残 差
15、 网 络、和 ，仅在 测试集上，比教师网络 低 ，有效提高了网络的 排序性能。进一步 汇 总 、指 静 脉 改 进 残 差 网 络、和 本 文 在 测试集的零误识识别率和 排序，如表所示。第期牟家乐，等：基于深度残差网络的轻量级指静脉识别算法表不同网络在 测试集上的零误识识别率与 排序 单位：放置类型 识别率 指静脉改进残差网络识别率 识别率 识别率 弯曲 重压 下移 上移 轴左旋转 轴右旋转 平面左旋转 平面右旋转 平均值 从表可以看出，在 测试集上，的平均零误识识别率和 排序性能最好。选择 测试集作为测试样本，共计 张指静脉图像，分别统计不同网络模型大小以及每张手指静脉图像的特征提取时间，
16、结果如表所示。表不同网络模型的大小和每张指静脉图像特征提取平均时间网络类别每张图像特征提取时间网络模型大小指静脉改进残差网络 本文教师网络 从表可以看出，的网络模型最小，仅为 ，较本文教师网络 的参数量大幅降低。网络模型的大小与 基本一致，由于网络结构比 复杂，所以特征提取时间略高，但是，的零误识识别率和 排序均高于 ，整体性能优于 模型。结束语本文提出一种基于深度残差网络的轻量级指静脉识别算法，在压缩网络的同时保证了正常和特殊姿态下手指的识别性能。但是，在知识蒸馏训练过程中，教师模型的性能并没有得到充分转移，仍有一定的提升空间，后续将继续进行模型轻量化研究，在降低网络参数的同时进一步提高算法的识别性能。参考文献于成丽，刘浩生物识别技术的发展应用及安全问题研究保密科学技术，（）：牛妞王洁，程君霞，程瑛璠，等指静脉识别技术的应用前景研究电脑知识与技术，（）：，（）：，：贾桂敏，李树一，杨金锋，等指静脉红外图像特征不变性编码新方法红外与激光工程，（）：包晓安，易芮，徐璐，等 改进残差网络的指静脉识别 西安工程大学学报，（）：胡慧基于卷积神经网络的手指静脉认证算法研究广州：华南理工大学，：，
