1、第 卷第 期重庆邮电大学学报(自然科学版).年 月 ().:./.基于 注意力的 图像分类算法改进收稿日期:修订日期:通讯作者:周伟松 .基金项目:重庆市科委一般项目()重庆市教委项目():()()韩晓良陈佳昌周伟松(重庆邮电大学 复杂系统智能分析与决策重点实验室 重庆)摘 要:针对 网络在图像分类任务中特征表达不足的问题提出一种结合注意力机制对 网络的改进策略 利用一种新颖的高效且无参的注意力模块同时结合 模块来替换 网络中的倒残差模块采用 激活函数替代原 激活函数保留更多特征结合 结构进行多尺度特征提取与融合使其可以提供更强的多尺度特征表达并服务于图像分类任务使用数据扩增技术生成更多样本
2、与 种方法进行对比实验结果表明采用 注意力机制的网络在数据集、上以最少的网络参数分别取得.和.的最高精度表明该改进方法可以有效地进行快速图像分类关键词:卷积神经网络()图像分类 结构注意力机制中图分类号:文献标志码:文章编号:()(.):.:()引 言随着互联网技术的快速发展人们进入了大数据时代其中图像作为重要的信息载体包含大量的信息是当今主流的信息传播形式之一 如何从大规模图像数据集当中对图像快速分类来提取视觉信息是当今分类、检测领域不断研究和突破的技术关键点 传统的图像分类算法依赖于先验知识和对分类任务的认知理解会消耗大量劳动成本泛化能力差不适应急剧增长的数据集无法满足数据时代变革的需求近
3、年来人工智能领域快速发展使得借助计算机模拟人类思考方式以及神经网络的接收和反馈方式对图像进行处理、分析和理解成为可能 深度学习是机器学习的延续并且使其准确度和运行速度达到工程落地的要求 随着 在神经网络图形运算的优势得到应用深度学习进入新的发展阶段 其中卷积神经网络()快速推进了图像分类的发展 年使用 并行化技术在 数据集使网络层数达到了 层并在图像分类领域取得了突破 而后发展出更深层次的、纵行加宽的、利用残差解决网络退化的 等性能优秀的网络模型 更深的网络意味着更多的计算量、更高的推理延迟 因此这些网络模型不能部署在计算能力和存储设备有限的移动设备和嵌入式设备为了使深度神经网络技术在工程中得
4、到应用需要借助轻量型的网络架构来减少模型参数的数量 提出的 系列是一种小巧而高效的 模型 从标准卷积方面着手将其分解为深度卷积和逐点卷积有效降低了常用 模 型 的 参 数 和 计 算 复 杂 度 中提出倒残差模块替代传统残差模块实现了网络性能的提升在前人工作的基础上设计一种结合无参 注意力模块与 相结合的网络结构其主要思想为卷积层使用 激活函数保留更多图像特征通过特征融合层传递到下一层倒残差模块的设计会导致信息损失和梯度混淆在倒残差模块的基础上提出 模块在更高维度上进行恒等映射与空间变换同时在第二个深度卷积部分加入 结构来获取多尺度特征有效缓解信息损失与梯度混淆受人脑注意力机制启发利用 注意力
5、机制结合能量函数计算注意力权值由于空域抑制现象能量函数越低神经元与周围神经元区别越大重要性越高能够更好地提取特征信息将其与 模块相结合以此代替 中的倒残差模块在新的网络当中进行有效性的验证 相关工作.网络结构 网络作为轻量型网络的代表在移动设备中得到了应用 的核心在于将经典的 结构上的池化层和部分全连接层用深度可分离卷积层代替 卷积运算是神经网络的主要计算量来源因此可从卷积层面着手进行轻量型网络的设计 将标准卷积的过程进行进一步简化将其拆分为深度卷积和逐点卷积 深度卷积通过使用与输入图像相同深度的卷积核作用于通道再通过逐点卷积进行信息融合和输出过程如图 所示图 深度可分离卷积.图 中 表示输入
6、通道数量 表示输出通道数量深度可分离卷积与普通卷积参数对比如下 ()重 庆 邮 电 大 学 学 报(自然科学版)第 卷()式中:表示卷积核的大小表示特征映射图大小 在采用卷积核大小为 的深度可分离卷积时网络各层中卷积核数量 为 与所采用的卷积核大小为 占普通卷积部分相比影响微乎其微可以忽略 网络的深度可分离卷积运算量只有原网络模型的/有效降低了网络的参数量 通过深度可分离卷积替代传统卷积使得其可以进行模型简化加快移动端设备部署.激活函数激活函数是 中神经元进行非线性学习的关键点 激活函数一定程度上克服了梯度消失问题和加快了训练速度但依然存在着弊端因为 激活函数将所有负值都设为 随着训练次数的增
7、加深度部分的卷积核所对应的权重得不到更新出现大量神经元失活现象 深度卷积过程中有的神经元出现失活失活神经元仍会占用空间对于轻量型网络造成复杂度的增加 这也是轻量型神经网络相比传统大型网络精度较低的原因因此采用 激活函数替代 激活函数来解决无法及时更新负特征信息造成的神经元失活其函数表达式为()如果 其他()在训练过程中 是从/中随机抽取的数值 测试过程当中选取训练过程中 的平均值 激活函数可以保留提取到的负值特征信息一定程度上减少神经元失活从而增强卷积过程中特征提取能力.注意力机制注意力机制本质是对现有资源的一种分配机制在深度学习网络当中所分配的资源就是权重注意力机制最早在自然语言当中得到应用
8、然后拓展到图像分类领域由 提出将注意力模块加入到 支路当中通过加强各通道之间信息的交换在增加了小部分参数后使得网络性能得到提升 对于提取到的特征信息经过注意力机制的计算突出其重要的特征从而更好地将数据进行有效区分 作为 中使用最广泛的注意力机制可以方便地嵌入 或者 网络当中分配特定的通道权重使性能得到提升 但是计算权重需要增加参数计算和运行时间 增加了模型复杂度不利于移动端设备的使用 因此寻找更为合适的无参注意力机制与 网络结合对于解决轻量型模型精确度不高的问题尤为重要 改进的卷积神经网络.神经网络的结构 作为轻量型网络的代表得到了广泛应用但与此同时也存在着提取特征能力不足的缺点 网络的倒残差
9、模块采用先升维后降维的结构会削弱梯度跨层传播的能力通道数先升后降低使高维度特征信息压缩会造成信息丢失基于其不足于是提出 模块减少模块提取特征时候的损失在深度卷积部分加入 注意力模块在不增加参数运算的情况下增强对通道和位置注意力的关注 加入 结构提高多尺度特征提取 同时针对负值特征信息采取 激活函数替代 激活函数将其作用于 模块进行取反层特征融合 经过批量归一化、交叉熵损失函数和全局平均池化层达到分类要求将网络各层的参数设置与 网络保持一致并根据 数据集中照片的尺寸对步距进行调整 改进后的网络结构流程图如图 所示其中网络参数设置如表 所示 其中 是升降部分的倍数因子 是特征矩阵深度 是重复次数
10、是步距当且仅当 时使用残差结构表 网络参数设置.输入尺寸操作 .特征信息的提取和融合网络不断纵向加深不适应于 这类轻量型网络会增加网络参数和运算时间 因此将 所提出的 结构应用到深度可分第 期 韩晓良等:基于 注意力的 图像分类算法改进离卷积当中来通过 和 两个深度卷积并行的 结构来横向加宽该层网络使得其感受野得以扩大可以提取更多尺寸的特征信息深度卷积所包含的局部特征信息大于潜在的局部特征信息 因此对深度卷积层按照如下规则进行处理并进行特征信息融合图 网络结构流程图.对输入图像进行深度卷积处理()()同时对输入图像进行深度卷积取反处理 ()()将提取到的特征信息按照如下规则进行特征融合()()
11、()()()式中:表示当前网络层表示当前层第 个特征图表示作用于该层卷积核表示偏置表示深度卷积.模块在卷积神经网络当中残差网络的设计有利于缓解梯度混淆问题并且提高模型性能 在 中设计的倒残差模块采用先升维后降维的设计如图 所示会影响梯度回传 模块会保持更多的信息从 层传递到 层有助于梯度回传 同时在第二次深度可分离卷积的时候采取 结构来获取多尺度信息 该模块可以在执行过程中获取更多的空间信息结构如图 所示 经过 模块在更高维度进行空间变换相比于倒残差模块可以减少信息损失保留更多特征信息提高网络性能.注意力机制 和 注意力机制都提高了网络准确率但是都增加了网络参数量对于 等轻量型网络的设计不匹配
12、 受人脑 种注意力协同工作机制启发与现有通道注意力和空间注意力相比注意力为特定层中的特征映射推断三维注意权值在视觉神经科学当中信息最丰富的神经元会显示出独特放电形式激活的神经元对周围神经元具有空域抑制利用能量函数找到每个神经元的重要性推导出能量函数的快速闭环形式的解来度量神经元之间的线性可分性图 倒残差模块.图 模块.重 庆 邮 电 大 学 学 报(自然科学版)第 卷 注意力机制所采用的能量函数为()()()()()式中:表示偏置 表示通道数 表示神经元对能量函数采用二值标签并增加正则项求得最小能量函数为()()()通过对该能量函数的快速闭环形式的解来获取神经元的重要性属于无参注意力机制使得改
13、进后的网络在不增加网络参数的情况下准确率得到提升.算法步骤设置网络结构的初始学习率为.采用学习率衰减方法训练当训练到 个 时降为初始学习率的/个 降为/算法步骤如下 对训练集和验证集进行划分对数据集进行数据扩充转换为与网络相匹配的数组 初始化网络权重超参数宽度系数设置为 对网络进行训练利用 函数输出、参数 利用 更新网络的权重和偏置 判断每个 下的精度 保留最好结果训练结束时将参数写入文件 实验结果与分析.实验数据集本实验采用 和 数据集 数据集中的 类图片相互排斥且没有重叠 是 分类下的复杂数据集 数据集都采用/作为训练集/作为验证集 选取验证集的精度作为网络分类的评价指标 数据集部分样本如
14、图 所示.实验仿真环境实验仿真环境采用.框架编程语言为.为.操作系统为 位 使用 使用 内存为 以实现所有实验图 数据集的部分图例.训练过程及实验对比将 的图片输入网络采用随机旋转、随机裁剪等数据扩充方式 采用 深度卷积采取 卷积核 的分支部分卷积核采用相同数量的 和 对每次卷积所得到结果采用 激活函数进行非线性特征提取和负特征信息融合利用能量函数中所提供的通道和位置权重将其作用于深度卷积部分能量越低神经元与周围神经元区别也大其重要性越高 将 结构作用于第二个深度卷积部分采用 优化策略为了评价该改进方法在 上的分类效果在相同参数设置的情况下对、这 种网络对数据集进行训练 个 确保网络达到收敛
15、将数据集中验证集的精度记录下来进行对比结果如图 和图 所示比较 种网络的精度图 准确率变化曲线.第 期 韩晓良等:基于 注意力的 图像分类算法改进图 准确率变化曲线.训练结果分析图 和图 分别是 原网络、模块、注意力模块 种情况在 和 的准确率变化 表 为实验精度和参数对比从表 的实验精度对比中表明 激活函数可以一定程度缓解神经元失活带来的精度降低 注意力与 结合的网络模型准确率明显高于 和 注意力机制 同轻量型模型 和 相比网络参数更少精度更高 在 的实验数据当中相比基础网络 注意力机制都得以提升了准确率但 注意力机制相比 注意力机制提升更为明显提升了.的精度 在更复杂的百分类数据集 当中
16、无参注意力结合能量函数所提供的权重使得相比初始网络和其他注意力机制取得了更明显的提升相比初始网络准确率得到了.的提升表 实验精度和参数对比.网络结构 网络参数/识别率/网络参数/识别率/.结束语深度可分离卷积可以有效地降低网络的参数量在保证精度的情况下使轻量型网络模型得到应用 结合 注意力机制相比于 通过增加网络参数的注意力机制从人脑注意力机制着手采用无参 注意力在未增加网络参数的情况下取得更好的准确率提升特别是在 更多分类的复杂情况下取得更大的提升 表明该轻量型网络可以胜任复杂的分类任务 未来工作内容是进一步优化 模块使之可以胜任更多分类任务参考文献:.:/.:.():.():./.:./.:.重 庆 邮 电 大 学 学 报(自然科学版)第 卷 /.:.:/.().:/./.:/.:.:/.:.:/.:./.:.袁梅 全太锋 黄俊等.基于卷积神经网络的烟雾检测.重庆邮电大学学报(自然科学版)():.()():.:/.:./.().:/././:.:.:/.().:/././.:.()():./.:./.:.:/.:.作者简介:韩晓良()男河北人硕士研究生主要研究方向为图像处理、深度学
