1、敬请登录网站在线投稿（）年第期 基于树莓派和 的 瑕疵检测贺鹏飞，刘志航，王菲菲，徐康，聂荣（烟台大学 物理与电子信息学院，烟台 ；山东省青岛阳氢集团有限公司；河南省郑州航空工业管理学院智能工程学院）基金项目：烟台市 年校地融合发展项目（）；年河南省科技攻关项目（）。摘要：针对 瑕疵检测问题，提出了基于 的轻量化 瑕疵检测算法，并基于树莓派平台搭建了一套 瑕疵自动检测系统。首先，在 阶段使用改进的空间金字塔池化代替原有的 网络；其次，在 与 中引入残差结构，并在小目标检测层面加入 注意力机制；最后，将所提轻量化算法部署到树莓派上，并使用 套件进行辅助加速，通过摄像头进行自动检测。通过测试，所提
2、算法检测 瑕疵 达到，与原 模型相比，为其，为其，瑕疵检测系统运行速度达到 ，满足自动检测要求。关键词：树莓派；印制电路板瑕疵中图分类号：文献标识码：，（，；，；，）：，：；引言随着科技的不断进步，电子信息产业日益成为当今社会最重要的产业之一。在电子信息产业中，需要用到的集成化设备，其生产都离不开印制电路板（）的支撑，因此印制电路板的制造正变得越来越重要。随着 制 造 难 度 的 增 加，出 现 瑕 疵 的 几 率 大 大 提升。因为各种原因产生的 瑕疵会大大影响集成电路的功能，因此基于印制电路板的瑕疵目标检测对于 制造业来说是至关重要的。为了提高检测效率，日本东芝公司和 等人提出 的自动光学
3、检测算法，可以远超人工检测速度检测电路板的瑕疵部分，但是受硬件设备的限制，精度不高。近年来，随着深度学习研究的不断深入，相关深度学习检测算法为 瑕疵检测提供了巨大帮助。深度学习双阶段目标检测算法中，算法是其中最具代表性的目标检测算法，提出的区域推荐网络模块（，）可 以 提 升 目 标 检 测 精 度。因此，很多学者将其应用到印制电路板的瑕疵检测上。然而，相对于双阶段目标检测算法，端到端的单阶段目标检测算法效率更高，其代表算法 系列被广泛应用。等人改进 算法，得到的网络对电子元器件的分类具有良好的检测效果，但不足是其模型结构不够轻量化。本文所提基于 改进的印制电路板瑕疵检测算法，对小目标检测有显
4、著效果，在保持高精度的前提下大大提高了运算速度，同时，模型复杂度大幅降低，更易于嵌入式设备端的部署应用。将 整 个 网 络 结 构 分 为 、年第期 和 四部分，其中 通过在不同图像细粒度上聚合并形成图像特征。通过一系列混合和组合图像特征操作，将图像特征传递到预测层。主 要 对 图 像 特 征 进 行 预 测，生 成 边 界 框 并 预 测 类 别。主要分为个版本，其唯一的区别在于模型的深度和宽度设置。本文选择网络深度最小、特征图宽度最小的 作为检测网络。轻量化 设计 基于空间金字塔池化的特征提取设计本文使 用 改 进 的 空 间 金 字 塔 池 化（，）代替主干网络中的 ，此操作能够降低模型
5、参数量，并对模型的推理速度进行优化。模块借鉴了空间金字塔的思想，通过 模块实现了局部特征和全局特征的融合。改进的空间金字塔池化网络提供多个层次的感受野，可以更好地识别与背景相似的不同瑕疵。改进之后的 结构如图所示。图 结构图电路板瑕疵检测并不需要特别强的特征提取系，网络复杂的 结构在一定程度上造成了资源浪费，而 依靠较轻量的网络结构和各尺度特征融合，不但使精度不下降，还能大大减小网络计算量。网络融合过程如下：（，（），（），（）（）式中，为这一层的特征输出，将原通道的特征与 、三项池化特征融合后输出。引入残差结构为了能够更加有效地对中大目标进行检测，本文借鉴残差网络的思想在 模块中引入了分支，
6、将底层特征与高层特征融合，使网络获得较好的学习能力，融合位置如图中红色线所示，公式如式（）（）所示。融合之后的特征经过 结构进行特征重构，并将重构之后的特征进行分类与回归，这样即使在没有特别强的提取能力下也能获得如原网络一样甚至更优的目标检测精度。同时因为参差结构可以直接传递梯度参数，使得网络不但保证了训练稳定性，而且获得了更快的网络收敛速度。（）（）（）（）（）（）式中，（）代表引入之前的特征融合网络，由于使用了加权函数，因此在参差网络引入时随机初始化变量 赋值为，本文实验中为。初始化变量经过全连接层操作得到中间变量，中间变量，再经过 归一化处理得到参数。增加 模块由于印制电路板瑕疵部分多为
7、小目标图像，因此本文在 输出图像层的 阶段加入 注意力机制模块，注意力机制作为一种轻量化模块，结合了通道注意力机制和空间注意力机制，可使网络更加关注重要位置，让网络更倾向于瑕疵部分的检测，并且不会降低原有模型的检测精度。在通道注意模块中，结构采用了压缩输入特征映射的空间维度方法，包括平均池化和最大池化操作，其计算过程见式（）。空间注意模块是通道注意模块的补充，沿着特征图的通道轴应用平均和最大池化操作，并连接起来以生成一个有效的特征描述符，两个池化操作聚合一个特征图的通道信息，这样生成的两个 表示通道的平均池化特性和最大池化特性，然后利用卷积层进行连接操作得到二维空间注意力图，空间注意模块过程见
8、式（）。（）（）（）（）（）（）（）（）；（）（；）（）式中，为 函数，和 作为 的权重彼此共享，在 之前存在 激活函数。结合之前的两点改进，最终改进后的模型如图所示。实验结果及分析本次实验运行环境的操作系统为 ，使用 ，显存为 ，版本为，版本为，为保证后续对比实验的公平性，所有网络都使用配置相同的硬件。本文数据集来源于网上的开源 瑕疵数据集。该数据集 张，共包含类瑕疵，分别是开路、杂散、杂铜、鼠咬、漏孔和短路。数据集每张图片未必有一个瑕疵，可能含有多个瑕疵，每类瑕疵具体数量详见表。敬请登录网站在线投稿（）年第期 图改进后的 网络结构表每类瑕疵数量 本文评估指标采用参数数量（）、计算量（，）、
9、平均精度均值（，）、推理速度（）这种在目标检测算法中较为常用的评价指标，实验结果如表所列。表实验结果 改进的 在相同的实验环境和训练次数下，由表的实验数据可知，在以 的 作为评价指标时，本文改进网络的 达到了，明显高于前种网络。本文改进算法的网络模型参量和运算量明显低于其他网络，相对于原始 算法，改进后算法的模型参量 是原算法的（为），计算量是原算法的（为 ），每张图片的推理速度降低了。实验结果表明，本文改进的算法在保持高精度检测标准下，可大幅度降低网络复杂度、减少计算量并加快推理速度，实现了对印制电路板瑕疵的轻量化网络检测。嵌入式 瑕疵检测系统搭建 系统硬件设计 瑕疵检测系统涉及的硬件包含树
10、莓派 主板、神经计算棒、散热器、高清摄像头以及支架等。系 统 采 用 树 莓 派 主 板 作 为 开 发平台，这 种 开 发 板具有 高 性 能、低 功耗的特点。由于树莓派主板 计 算 能 力 有 限，即使轻量化的检测模 型 也 难 以 运 行，因此，该 系 统 采 用英特尔的 神经计算棒对检测模型进行辅助加速。神经计算棒是一款深度神经网络推理工具，使用 接口，目的是减少神经网络部署障碍，使轻量化神经网络能够在树莓派设备上运行。系统模块设计和实物如图、图所示。图 瑕疵检测系统模块结构图 瑕疵检测平台树莓 派 在 运 行 过 程 中，温度过高容易引起一些问题，本系统使 用 铝 合 金 的型 散
11、热 器 对 进行散热处理，并使用 内存卡保存树莓派系统和运行程序等所需文件，通过 接口连接摄像头进行录制拍摄，将 与 端连接从而显示检测画面，并将所有硬件安装在小型支架平台上。系统软件设计本文的 瑕疵检测系统界面使用 开发，进行 界面设计，完成 文件到 文件的转换。界面功能包括 设置、置信度设置和启用摄像头。年第期 在进行实时检测时，首先选择需要的 和置信度值，然后开启摄像头选项，系统将摄像头捕捉到的画面进行截帧处理生成图像，图像被输入到轻量化 瑕疵检测算法中进行检测，从而输出检测画面。为了在树莓派上进行 开发以及使用 加速，需要进行软件环境搭建。首先使用树莓派官方推荐软件 烧录系统，系统版本
12、为 ，烧录系统后进 行 基 本 的 系 统 设 置；然 后 在 端 完 成 轻 量 化 算法的训练得到 模型权重，经过 文件转换为 模型权重；接着在 端和树莓派端安装 ，端依靠 完成模型转换，得到 模型，即 和 文件；最后树莓派安装 后，配置相关环境以及设置硬件 规则便可进行 的模型推理。实验效果如图所示。图实时检测实时检测不仅需要满足检测精度的需求，而且要保证检测速度，经过 神经计算棒的加速，系统实时检测的速率为 ，本文所提轻量化检测模型满足检测需求，系统符合实际工作需要。结语本文所提轻量化 电路板瑕疵检测算法在原始算法基础上，首先在特征提取部分采用空间金字塔池化操作，轻量化模型主干网络，然
13、后在特质提取部分引入残差网络，增加网络学习能力，最后在小目标图像输出层加入 注意力机制，使其更加注意关键位置。实验结果表明，本文所提算法精度相比原算法有一定程度的提高，模型复杂度和参数量大幅度减少。可见，采用树莓派作为嵌入式载体，将所提算法部署其中并搭建 瑕疵检测系统，能够满足相应工作需求。参考文献 ，（）：，（），贾涛，周利莉，陈健，等 基于卷积神经网络的 图像中的过 孔 和 焊 盘 检 测 算 法计 算 机 应 用 研 究，（）：，（）：，：，（）：，：，（）：，：，：，：，：，：，：，：，（）：贺鹏飞（副教授），主要研究方向为工业互联网；刘志航（硕士研究生），主要研究方向为目标检测与嵌入式硬件；王菲菲（硕士研究生），主要研究方向为目标检测；徐康（助理工程师），主要研究方向为大规模集成电路设计；聂荣（副教授），主要研究方向为可重构网络与网络测量。通信作者：刘志航，。（责任编辑：薛士然收稿日期：）