1、ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 41 卷 第 12 期Vol41 No122022 年 12 月Dec 2022DOI:10 19927/j cnki syyt 2022 12 024基于卷积神经网络的智能垃圾分拣车石则斌，罗雪峰，王隐，闻春敖，蔡佩君(浙江大学 光电科学与工程学院，杭州 310027)摘要:基于卷积神经网络，设计一种智能垃圾分拣车。该分拣车以树莓派为控制核心，使用单目广角摄像头、超声波测距传感器、倾斜角度传感器获取信息，以麦克纳姆轮小车为运动载体，通过 Yolo-Fastest 目标检测
2、算法和自主编写的运动反馈控制算法，实现自主路径规划、垃圾识别、垃圾抓取、垃圾分类等功能，具有简单可靠、性价比高的特点。关键词:卷积神经网络;垃圾分类;智能垃圾分拣车;树莓派;目标检测中图分类号:S 37文献标志码:A文章编号:1006 7167(2022)12 0123 04Intelligent Garbage Sorting Vehicle Based on Convolutional Neural NetworkSHI Zebin，LUO Xuefeng，WANG Yin，WEN Chunao，CAI Peijun(College of Optoelectronic Science an
3、d Engineering，Zhejiang University，Hangzhou 310027，China)Abstract:An intelligent garbage sorting vehicle is designed based on convolutional neural network This vehicle takesaspberry Pi as the control core，uses monocular wide-angle camera，ultrasonic ranging sensor and tilting angle sensor toobtain inf
4、ormation，takes Mecanum wheel car as the motion carrier，and realizes the functions of autonomous pathplanning，garbage identification，garbage garbing and garbage classification through Yolo-Fastest target detectionalgorithm and self-written motion-feedback-control algorithm It is simple，reliable and c
5、ost-effective，and contributes tointelligent refuse classificationKey words:convolutional neural network;refuse classification;intelligent garbage sorting vehicle;aspberry Pi;object detection收稿日期:2022-05-17作者简介:石则斌(1999 )，男，陕西商洛人，硕士生，主要从事光电信息研究。Tel:15991945802;E-mail:3180105879 zju edu cn通信作者:闻春敖(196
6、9 )，男，浙江宁波人，硕士，高级工程师，主要研究方向为光电检测，激光技术。Tel:13018973679;E-mail:wenca zju edu cn0引言垃圾分类是垃圾处理流程中的基础环节，一直以来是各级政府倡导与推行的重要工作。由于配套设施不完善，人们垃圾分类意识与能力不强，该项工作成效并不理想，收集到的垃圾多为混合垃圾，后续仍需人工进行分类，增加了处理成本。将后续分拣工作交由机器完成1，不仅能降低成本，提高工作效率，也能避免工人长期与垃圾接触所引发的健康问题。目前常见的智能车多基于机器人操作系统(obotOperating System，OS)，使用激光雷达进行定位导航2-3，该类车
7、价格昂贵，不适合用于垃圾分拣。为此，设计一种智能垃圾分拣车，基于树莓派平台，利用单目广角摄像头、倾斜角度传感器、超声波测距传感器等，通过 Yolo-Fastest 目标检测算法，实现自主路径规划、垃圾拾取分类、垃圾定点运放的功能4-5，具有较高的性价比，对智能垃圾分拣做了一定的探索。1原理1.1Yolo-Fastest 网络结构卷积神经网络是一种前馈型神经网络，包括输入层、卷积层、池化层、全连接层以及输出层，各层的神经元都只与上一层相连6。本项目采用的 Yolo-fastest第 41 卷算法基于轻量级神经网络 EfficientNet-Lite7-9，通过量化和算子优化，使得算法模型体积更小
8、，运算速度更快。Yolo-Fastest 是 Yolo 系列中最轻、最快的通用目标检测算法，其网络结构如图 1 所示。与传统 Yolo 网络一样，Yolo-Fastest 网络由主干网络和深层网络组成，主干网络用于提取图像特征，深层网络用于提取目标物的边界框。与传统 Yolo 不同，Yolo-Fastest 的主干网只有 27 层，其中第 1 层为标准卷积层，其余均为深度可分 离 卷 积 层，大 大 减 少 了 模 型 的 参 数 量 和 运算量10-11。图 1Yolo-Fastest 算法网络结构Yolo-Fastest 卷积神经网络将输入的图片分割成 S S 个网格，每个单元格负责检测那
9、些中心点落在该格子内的目标，通过卷积网络提取特征，使用全连接层得到预测值。利用神经网络，可得到检测目标的中心位置(x，y)，并根据损失函数 Loss 计算预测结果的置信度。1.2超声波测距超声波测距与雷达原理一样，利用超声波在空气中的传播速度已知，测量声波从发射到遇到障碍物反射回来的时间，根据发射与接收的时间差计算出发射点到障碍物的实际距离。超声波在空气中的传播速度为 340 m/s，根据计时器记录的时间 t，就可以计算出发射点距障碍物的距离:s=340t2这就是所谓的时间差测距法。2硬件设计以简单可靠、经济实用为设计理念设计的垃圾分拣车整体结构如图 2 所示。图 2(a)是垃圾分拣车的系统框
10、图，分拣车以树莓派 4B12 为开发平台，通过单目广角摄像头获取的图像，作为主要信息;超声波测距传感器、倾斜角度传感器作为辅助信息来源，通过算法处理，输出信号控制电动机和舵机，控制分拣车的运动和垃圾抓取。图 2(b)是分拣车的实物图，长 35 cm、宽 25 cm、高 50 cm。(a)分拣车系统框图(b)分拣车实物图图 2垃圾分拣车整体结构2.1主控模块采用 4 GBAM 树莓派 4B 作为主控制板。树莓派 4B 是一款基于 Cortex-A72 架构的微型计算机板卡，搭载了 4 核 BCM2711 处理器，主频达 1.5 GH，具有强大的运算性能，可作为低成本开发平台，能较好地满足分拣车的
11、运算需求，同时也符合简单可靠、经济实用的设计理念。2.2单目广角摄像头使用 135 广角无畸变摄像头。该摄像头采用OV2710 传感器，具有最高 200 万像素，支持手动调焦和自动曝光，通过 USB 接口可免驱动与树莓派主板相连。使用时获取的图像分辨率设置为 640 480，能比较稳定地获取较大视场范围的清晰图像，使得分拣车一次性获得尽可能多的信息，提高分拣效率。421第 12 期石则斌，等:基于卷积神经网络的智能垃圾分拣车2.3超声波测距传感器使用超声波传感器获取距离信息，作为分拣车运动控制的辅助信息来源，进一步提高分拣车运动的准确性。该传感器包括超声波发射器、接收器与控制电路，采用 I/O
12、 口 TIG 触发，可提供 2 400 cm 的非接触式距离，测距准确度可达 3 mm。2.4倾斜角度传感器分拣车运动过程中因为运动累计误差，产生角度偏移，导致无法准确驶向垃圾堆放点，引入倾斜角度传感器，能在任意位置得到准确的角度，通过与初始角度比较，对分拣车姿态做出修正，保证分拣车沿直线行驶。该传感器工作电压在 3 5 V，测量范围 180 180，具有 1的测量准确度和 0.01的分辨率。2.5抓取框分拣车针对室内等较平坦地面，采用抓取框的抓取方式。图 3 所示为分拣车的抓取框，由亚克力板制成，其中前臂、左右臂分别与舵机相连，通过运动抓取算法控制，可实现某一臂的单独抬放和组合抬放，配合分拣
13、车的前移和左右移，实现对不同位置垃圾的快速抓取。在抓取框与地面接触一侧装有毛刷，避免电池、果皮等较小垃圾从分拣框下方漏过，同时减小分拣框与地面的摩擦。图 3垃圾分拣车抓取框3软件算法设计分拣车使用 64 Bit 树莓派操作系统，使用 C+语言进行算法开发编写。软件设计包括图像识别和运动抓取算法两部分，图像识别采用目标检测算法 Yolo-Fastest，在树莓派上能实现 15 帧的较高帧数视频的目标检测;运动抓取采用一种反馈控制算法，能够较好地配合 Yolo-Fastest 算法做出快速的运动和抓取。3.1目标识别算法实验选取一次性纸杯、橘子皮、矿泉水瓶、七号电池、A4 纸团，按分类标准可分为可
14、回收垃圾、厨余垃圾、有害垃圾和其他垃圾。为得到较好的训练结果，用于训练和测试模型的数据集均由分拣车摄像头拍摄制作，分别从不同的角度和背景共拍摄了 2 000 张照片，根据后续训练效果添加特定背景和角度下照片 300张，同一照片中同时存在多个检测目标，尽可能保证各类目标总数相近。通过人工方式对数据集标签进行分类，将这些数据集按照 9 1的比例分为训练集和测试集在电脑上用于神经网络模型训练。神经网络训练时 Loss 值与重复次数的关系如图 4所示，Loss 值越低，模型对测试集中目标的检测准确度越高，可见，当重复次数达到约 6 000 次时，Loss 降到1%以下且变化逐渐趋于平稳。分别选取重复次
15、数为7 000、8 000、9 000、10 000 和 12 000 的模型作为待选定模型，分别部署在树莓派后，通过实际的图像识别效果，从中选取最优的模型。图 4训练中 Loss 与重复次数关系将训练获得的模型文件转换移植到树莓派的NCNN 框架中进行测试，通过 OpenCV 可实时预览识别结果。通过比较，综合考虑图像识别的精度和速度，最终选择重复次数为 8 000 次的模型为最终模型。实验中，静止情况下，分拣车对2 m 以内的目标可以实现95%以上的识别率，对 4 m 处的目标仍有 60%左右的识别率。3.2小车运动和垃圾抓取算法根据图像识别算法计算得到的目标坐标信息以及其他传感器获得的距
16、离、角度等信息，算法可判断目标相对于分拣车的位置，产生指令控制分拣车运动和垃圾抓取动作。垃圾分拣流程如图 5 所示，分拣车启动，记录自身初始姿态，获取图像并识别。根据识别结果，未检测到垃圾时，分拣车会按一定的路线巡视;当检测到垃圾后，分拣车会向最近的垃圾移动并完成抓取。根据抓图 5分拣车垃圾分拣流程521第 41 卷取垃圾的种类，分拣车将前往相应的垃圾堆放点，在这一过程中，分拣车将不断判断视野中是否出现相同类别的垃圾，如果有，分拣车会继续抓取，以提高垃圾分拣的效率;如果没有，分拣车会将垃圾在堆放区放下，并重复上述操作开始新一轮垃圾分拣。运动抓取算法中，核心问题是如何判断垃圾的实际位置。为解决这一问题，采用一种反馈控制算法，通过不断判断垃圾与分拣车的相对位置，进而反馈控制分拣车运动。目标识别时，图像识别算法会计算得到目标中心在整个图像中的相对位置，该值以像素的形式输出，由于摄像头固定在分拣车上随分拣车一起运动，可以认为所获取图像中，分拣车即摄像头的位置是固定不变的，通过比较目标中心与分拣车中心的像素，判断目标与分拣车的相对位置。该判断算法与人抓取物体的方式相似，通过快速的图像识别，将分拣
