1、第 5 期2023 年5 月电子学报ACTA ELECTRONICA SINICAVol.51 No.5May 2023基于多分支瓶颈结构的轻量型图像分类算法研究苏田田，王慧敏，张小凤（陕西师范大学物理学与信息技术学院，陕西西安 710119）摘要：传统卷积神经网络存在着参数量大、训练耗时长、轻量级模型的识别准确度不足的问题.本文提出了一种基于ResNet网络的多分支结构轻量化网络（Residual multi-branch structured Network，RemulbNet），通过在残差结构的主干中使用多分支结构增加特征多样性，利用变体的深度可分离卷积缩减模型参数量，采用Mish激活函
2、数增加网络的非线性表达能力，在有效减少模型体积的情况下，提升网络的分类准确率.利用图像识别数据库，对网络性能进行测试.研究表明，对于5分类花卉识别问题，RemulbNet相比ResNet网络识别准确率提高3.9%，模型参数量减小71%，模型体积减小77%，缩短了约40%训练耗时；与轻量级网络（MobileNet v2和ShuffleNet v2）相比，RemulbNet在识别准确度、模型体积、训练时长和不同的图像分类数据集上都表现出优良的性能.关键词：轻量化网络；多分支瓶颈结构；Mish激活函数；深度可分离卷积；图像分类；卷积神经网络基金项目：国家自然科学基金（No.11874252）中图分类
3、号：TP391文献标识码：A文章编号：0372-2112(2023)05-1319-08电子学报URL:http:/DOI:10.12263/DZXB.20220920Research on Lightweight Image Classification Algorithm Based on Multi-Branch Bottleneck StructureSU Tian-tian，WANG Hui-min，ZHANG Xiao-feng（School of Physics and Information Technology，Shaanxi Normal University，Xian，S
4、haanxi 710119，China）Abstract：The traditional convolutional neural networks have many problems,such as large number of parameters,long training time,and insufficient recognition accuracy of the lightweight models.Based on ResNet network,a lightweight network named RemulbNet(Residual multi-branch stru
5、ctured Network)with multi-branch structure,which increases feature diversity with multi-branch structure in the backbone of the residual structure,reduces the number of model parameters with the depth-separable convolution of variants,and also increases the nonlinear expression capability of the net
6、work with Mish activation function.These measures can effectively reduce the model volume and improve the classification accuracy of the network.Using the image recognition database,the network performance is tested.For 5 categories of flower identification,RemulbNet improves the recognition accurac
7、y by 3.9%,reduces the number of model parameters by 71%,reduces the model volume by 77%,and shortens the training time by about 40%compared with the ResNet network.Facing different image classification datasets,RemulbNet also shows excellent performance in terms of recognition accuracy,model volume,
8、training time compared with the lightweight networks(MobileNet v2 and ShuffleNet v2).Key words：lightweight networks;multi-branch bottleneck structure;mish activation function;deep separable convolution;image classification;convolutional neural networkFoundation Item(s)：National Natural Science Found
9、ation of China(No.11874252)1引言卷积神经网络（Convolutional Neural Network，CNN）作为一种优良的机器学习方法，能够摒弃数据中的冗余信息，保留数据的本征信息，具有自主学习、权值共享、分类效果好等优势，在图像分类、目标检测、自然语言处理等领域有着广泛的应用.神经网络源于日本学者Fukushima Kunihiko提出的神经认知机模型（neocognitron）1，其在工程上的开创性研究应用，为人工智能技术的发展做出重要贡献.1989年Lecun Y，Bottou L提出了LeNet 2 是最早的卷积神经网络，收稿日期：2022-08-05；
10、修回日期：2022-11-10；责任编辑：覃怀银电子学报2023 年其基本单元奠定了 CNN 的基础.而 2012 年提出的AlexNet 3，4 通过ReLU函数、数据增强和dropout等方法有效提高了CNN的性能.作为2014年ILSVRC（ImageNet Large-Scale Visual Recognition Challenge）竞赛的冠军，GoogLeNet 5 的核心思想是Inception结构，通过使用不同大小的卷积核拓宽网络宽度，增加特征的多样性，并将结果进行拼接以降低网络的参数量和运算量.同年的VGGNet 6 则是对网络深度的探索，虽然在图像识别方面略差于GoogL
11、eNet，但小卷积核的使用和加深网络方面给人以启示.2015年，ResNet 7 的残差结构减轻了网络的退化，使网络可以尽可能加深.同时，该网络还采用了批归一化（Batch Normalization，BN）8 对批数据进行处理，该结构不但加快了网络的收敛速度而且增加了网络稳定性，缓解了梯度消失问题.后续各种改进的网络虽然在性能上有所提升，但体积都过于繁重，不便于在移动设备安装.为了将深度学习模型部署在移动设备上，网络的轻量化成为研究热点.2016年提出的MobileNet9使用倒残差结构和深度可分离卷积，在保证精度的同时减少模型的参数量与计算量.同年提出的ShuffleNet10是在 Mob
12、ileNet的基础上将逐点卷积进行分组操作以及channel shuffle10，11操作，在不影响精度的前提下使通道充分混合以降低计算量.2019年的EfficientNet12，采用倒置线性瓶颈模块，Swish激活函数，每个模块都加入压缩-扩张（Squeeze-and-Excitation，SE）13机制，使网络具备较高的计算效率.随着机器学习、人工智能等学科的蓬勃发展，轻量化网络的应用将更加广泛.但现有的模型中存在着模型体积较小的网络的准确率不高，而识别准确率高的模型体积庞大、训练耗时长等问题.如何设计出训练速度快、体积小、准确率高的网络成为CNN在实际应用中要解决的关键问题.本文基于
13、ResNet 网络的残差结构，提出了一种轻量化的网络RemulbNet，该网络通过在ResNet的瓶颈（bottleneck）结构中使用多分支结构增加特征多样性，利用变体的深度可分离卷积缩减体积，采用Mish14函数增加网络非线性表达能力，在有效提升网络性能的同时提高计算效率.2网络模型2.1理论基础2.1.1ResNetResNet的核心是残差模块，其结构如图1所示.当输入为x时，经过卷积输出的特征记为：H（x）=F（x）.引入残差结构后，学到的特征为H（x）=F（x）+x.由于快捷连接的加入，当F（x）为0时，卷积层只做恒等映射，这使得网络的性能不会下降.实际中F（x）不为0，便可以在上层
14、的基础上不断学习，因此残差模块具有良好的学习性能.其快捷连接的加入可以缓解网络退化问题，使网络深度增加.但ResNet的弊端在于网络深度的增加会导致运算激增、模型体积庞大，训练中会消耗更多的时间.2.1.2Inception结构Inception v1结构是GoogLeNet的核心模块，其结构主要由11卷积、33卷积、55卷积和33最大池化组成，四个部分处理结果在通道上进行拼接.Inception15结构的核心思想是利用不同大小的卷积核提取图像的信息，增加特征的多样性，提高网络的适应能力，并通过对特征进行融合，以更好的表征图像.GoogLeNet网络虽然贡献了可以通过多分支处理和多样的特征矩阵
15、拼接解决模型体积压缩和加速训练的问题，但也存在准确率不高的问题.2.1.3深度可分离卷积深度可分离卷积（Depthwise Separable Convolution，DSC）16可 分 为 逐 通 道 卷 积（Depthwise Convolution，DWC）和逐点卷积（Pointwise Convolution，PWC）两步操作.首先，对尺寸为 ij 的输入特征图（Feature Map，FM），当通道数为m时的特征矩阵为A，使用大小为kl的卷积核进行卷积，在逐通道卷积中，每一个通道都会相应的分配一个卷积核，接下来使用大小为11、通道数为M的卷积核进行逐点卷积.深度可分离卷积相比常规卷积
16、的优势在于其能够在精度损失不多的情况下大幅减少网络的参数量和计算量，从而提高模型运行速率，减少训练时间.深度可分离卷积的计算公式如下：DSC(WpWdy)(ij)=PWC(WpDWC(Wdy(ij)（1）DWC(Wy)(ij)=klKLW(kl)*y(i+kj+l)（2）PWC(Wy)(ij)=mMW(m)*y(ijm)（3）其中，W（k，l）为大小为kl的卷积核，y为输入特征图，i、j为输入特征图尺寸，K、L为输出特征图尺寸，Wd表示逐通道卷积，Wp表示逐点卷积，W（m）代表大小为11，通道数为m的卷积，W（k，l）*y（i+k，j+l）表示kl的卷积核与ij的输入特征图y进行卷积.F(x)F(x)+xweight layerweight layer+xxReLUReLU图1残差模块1320第 5 期苏田田:基于多分支瓶颈结构的轻量型图像分类算法研究2.2RemulbNet网络受到残差学习、Inception结构及深度可分离卷积等思想的启发，本文在ResNet的基础上提出了一种轻量化网络，简称RemulbNet.该网络主要从整体构建、模块设计和激活函数选择三个方面对网络进行了设计.2
