1、第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023Mobile_BLNet：基于Big-Little Net的轻量级卷积神经网络优化设计袁海英，成君鹏，曾智勇，武延瑞（北京工业大学信息学部，北京 100124）摘要：针对深度卷积神经网络难以部署到资源受限的端侧设备这一问题，本文提出一种高效精简的轻量化卷积神经网络Mobile_BLNet，在模型规模、计算量和性能之间取得了良好的平衡.该网络引入深度可分离卷积和倒残差结构，通过合理分配不同分支的运算量缩减模型规模并节省大量计算资源；采用通道剪枝操作压缩网络模型，基于占总和比值方
2、法裁剪对模型贡献度低的卷积通道，在相同压缩效果情况下提升了分类准确率；基于通道裁剪情况重构网络，进一步降低模型所需计算资源.实验结果表明，Mobile_BLNet结构精简、性能优异，在CIFAR-10/CIFAR-100数据集上以0.1 M/0.3 M参数量、9.6 M/12.7 M 浮点计算量获得 91.2%/71.5%分类准确率；在 Food101/ImageNet 数据集上以 1.0 M/2.1 M 参数量、203.0 M/249.6 M浮点计算量获得82.8%/70.9%分类准确率，满足轻量化卷积神经网络的端侧硬件高能效部署需求.关键词：轻量化设计；卷积神经网络；模型重构；剪枝操作；深
3、度学习基金项目：国家自然科学基金（No.61001049）；北京市自然科学基金（No.4172010）中图分类号：TP391 文献标识码：A 文章编号：0372-2112(2023)01-0180-12电子学报URL:http:/ DOI:10.12263/DZXB.20211671Mobile_BLNet:Optimization Design of Lightweight Convolutional Neural Network Based on Big-Little NetYUAN Hai-ying,CHENG Jun-peng,ZENG Zhi-yong,WU Yan-rui(Facu
4、lty of Information Technology,Beijing University of Technology,Beijing 100124,China)Abstract:Since it is difficult for deep convolutional neural network to be deployed to terminal equipment with limited resources,this paper proposes an efficient,compact,and lightweight network Mobile_BLNet,which ach
5、ieves a good balance between model size,computation,and performance.The network uses depthwise separable convolution and inverse residual structure,reduces the scale of the model and saves a lot of computing resources by reasonably allocating the amount of computation of different branches.The total
6、 ratio method is used to prune the convolution channel with low contribution,which has excellent performance under the same compression effect.Model reconstruction is based on the clipping,which further reduces the computational resources.The experimental results show that Mobile_BLNet has excellent
7、 performance.On CIFAR-10/CIFAR-100 dataset,91.2%/71.5%accuracy is obtained with 0.1 M/0.3 M parameters and 9.6 M/12.7 M floating point operations.On Food101/ImageNet dataset,82.8%/70.9%accuracy is obtained with 1.0 M/2.1 M parameters and 203.0 M/249.6 M floating point operations.The network meets th
8、e requirements of energy-efficient and lightweight hardware deployment.Key words:lightweight design;convolutional neural network;model reconstruction;pruning operation;deep learningFoundation Item(s):National Natural Science Foundation of China(No.61001049);Beijing Municipal Natural Science Foundati
9、on(No.4172010)1引言近年来，计算机技术的进步和信息化需求的提升推动了深度学习技术迅猛发展，计算机视觉处理成为当下热门研究方向.自2012年AlexNet1以巨大优势夺得ImageNet分类挑战赛冠军以来，卷积神经网络（Convolutional Neural Networks，CNN）被广泛应用于图像分收稿日期：2021-12-18；修回日期：2022-03-07；责任编辑：朱梅玉第 1 期袁海英:Mobile_BLNet：基于Big-Little Net的轻量级卷积神经网络优化设计类、目标检测、图像语义分割和图像转文字等领域.业界相继提出VGGNet2，GoogLeNet3和R
10、esNet4等出色CNN模型，它们在诸多计算机视觉数据集上表现优异.然而，CNN模型精度提升往往意味着模型尺寸、计算成本成比例增加.性能优异的CNN模型通常耗费高计算资源和大存储内存，这导致它们难以部署到需要实时推断和低内存占用的应用程序中，例如自动驾驶、智能机器人、医用检测仪以及移动设备上的人机交互系统等5，6.受到人工智能应用驱动，业界陆续提出了许多轻量级网络模型及其压缩方法.其中，SqueezeNet7采用了Fire module的模块化卷积，其参数是 AlexNet 的 1/50，但模型性能与之接近.MobileNet V18是Google提出的可部署于移动端的轻量级网络，采用深度可分
11、离卷积代替传统卷积，在保证网络精度的前提下减少网络参数.在MobileNet V1基础上，MobileNet V29通过增加线性单元和倒残差结构进一步提高了模型性能.ShuffleNet V110将各部分特征图的通道有序地排列成新的通道，解决了组卷积带来的信息流通不畅问题.ShuffleNet V211从内存消耗成本、GPU并行性两个方面分析了模型可能带来浮点计算量（FLOating Point operations，FLOPs）之外的计算成本，提升了分类精度和计算效率.EfficientNet12改进了模型放缩方法，通过神经网络搜索技术平衡了网络的深度、宽度和分辨率，表现性能优异.此外，低秩
12、分解、网络剪枝、低位量化、知识蒸馏等模型压缩方法也极大地降低了网络规模和计算量.针对CNN模型在资源受限设备上的部署难题，本文结合了网络轻量化设计与模型压缩技术，提出一种新型轻量级CNN架构Mobile_BLNet.在轻量化设计方面，该架构以MobileNet V2的倒残差结构为基本单元，结合Big-Little Net13的多分支结构并加以改进；在模型压缩方面，采用通道剪枝技术对Mobile_BLNet模型进行裁剪，并以裁剪结果为标准重构模型，最终得到的网络模型能够满足资源受限场景下的部署需求.网络具体设计流程如图1所示.参数量和FLOPs分别是衡量模型空间复杂度和时间复杂度的主要指标.表
13、1 对比了 CNN 模型在 ImageNet数据集中的复杂度，其中ShuffleNet V2模型的2为性能最佳的版本.相较于传统CNN模型与主流轻量级CNN模型，Mobile_BLNet大幅度降低了模型时空复杂度，提高了网络轻量化水平.2相关工作CNN 模型的优异性能需要大量卷积计算进行支撑，降低网络所需的庞大计算量会影响模型性能.因此，在保证性能前提下，如何降低CNN对硬件资源的消耗，使其能够高效部署于资源受限的移动终端应用场景，成为当前业界关注焦点.2.1轻量级卷积神经网络设计有别于传统CNN设计方法（先构建复杂网络再压缩模型），轻量级CNN致力于直接构建紧凑网络体系结构，便于控制参数量和
14、计算量，网络易于实现且具有良好的可扩展性.下面介绍 MobileNet8，9与 Big-Little Net13两种轻量级网络设计方法.2.1.1MobileNet模型MobileNet V18是Google提出的可部署于移动端的轻量级网络，采用深度可分离卷积代替传统卷积，在保证网络精度的情况下减少网络参数.在传统卷积中，单个卷积核与整张特征图对应，卷积核的通道数与输入特征图通道数一致，卷积核的数量决定了输出特征图通道数.不同于传统卷积，深度可分离卷积将卷积操作分解为深度卷积和点卷积两部分.深度卷积中单个卷积核的通道数为1，仅与特征图的输入通道相对应.这一操作大幅减小了卷积计算量，提升了移动终
15、端正向计算的速率.点卷积对深度卷积输出的特征图进行交叉融合，从而学习不同通道之间的相关性.若输入和输出特征图的通道数分别为M和N，特征图与卷积核的大小分别为DFDF与DkDk，则传统卷积与深度可分离卷积对比如图2所示.在 MobileNet V1基础上，MobileNet V29通过增加倒残差结构和线性单元进一步提高了模型性能.倒残图1本文轻量级卷积神经网络设计流程表1CNN模型复杂度对比模型类别传统CNN模型轻量级CNN模型本文网络模型名称VGG16ResNet50DenseNet12114MobileNet V2ShuffleNet V2(2)EfficientNet b0Mobile_B
16、LNet参数量138.4 M25.6 M8.0 M3.4 M7.4 M5.3 M2.1 M浮点计算量15.5 G3.8 G2.9 G300 M591 M399.3 M249.6 M图2传统卷积与深度可分离卷积对比181电子学报2023 年差结构如图3所示，首先进行点卷积，将输入通道数Cin扩张6倍（扩张程度由扩张系数决定），再进行深度卷积实现数据处理，在更高的空间维度提取到精确的图像特征，最后采用点卷积将通道数降至输入维度Cin.降维后的特征图与输入特征图进行相加，构成残差结构.非线性激活函数在高维空间能够有效地增加模型的性能，但其在低维空间会损坏部分特征信息.因此，MobileNet V2 定义了线性单元，在特征降维后取消了ReLU6激活函数的使用.2.1.2Big-Little Net模型由于CNN模型的计算成本和图像尺度通常成正比关系，若输入图像的长宽均减半，则模型可以节省75%计算量.因此，Big-Little Net对不同分辨率的输入图像合理分配不同的计算资源，提出了一种简单有效的轻量化卷积神经网络设计理念.Big-Little Net 分为 Big 分支和 Little 分