1、科技与创新Science and Technology&Innovation642023 年 第 17 期文章编号：2095-6835（2023）17-0064-04基于 ResNet50 神经网络的荔枝表皮缺陷检测研究刘 现1，郑华伟2，张海佳1（1.福建省农业科学院数字农业研究所，福建 福州 350003；2.福建农林大学计算机与信息学院，福建 福州 350003）摘要：为了提高荔枝表皮缺陷检测的智能化程度与效率，基于 ResNet50 神经网络开展荔枝表皮缺陷检测研究。利用自主研制的图像采集系统试验平台构建荔枝表皮缺陷图像数据集，使用残差神经网络（Residual Network，Res
2、Net）50 算法构建荔枝表皮缺陷检测分类模型，并将它与 K-近邻法（K-Nearest Neighbor，KNN）和随机森林（Random Forest，RF）算法所构建的模型进行对比，评估其分类效果和性能。试验结果表明，综合考虑模型分类准确率和程序运行时间，基于ResNet50 的荔枝表皮缺陷检测分类模型相较于其他 2 种算法是最佳的，能够有效地将荔枝图像划分为正常、霉变和裂口3 类，将正常的荔枝与有表皮缺陷的荔枝区分开。研究结果可为基于荔枝图像的表皮缺陷检测方法提供技术参考。关键词：荔枝表皮缺陷；ResNet50；KNN 算法；RF 算法中图分类号：S666.2；TP391文献标志码：A
3、DOI：10.15913/ki.kjycx.2023.17.018荔 枝（Litchi chinensis Sonn.）为 无 患 子 科（Sapindaceae）荔枝属（Litchi Sonn.）常绿果树，中国是荔枝主产国，荔枝是华南地区最具特色的水果之一，目前荔枝栽培面积约为 53 万 hm2，产量为 230 万 t，均居世界首位1-2。荔枝分级是它保鲜、销售及深加工之前一个十分重要的工序，能够有效地提升其产业附加值3，建立完整的分级制度可促进果品优质优价，进一步促进荔枝果业的发展4。深度学习是机器学习的一个次领域，是现今研究的一个崭新方向5。其中卷积神经网络（ConvolutionalN
4、eural Network，CNN）虽然在图像分类中取得了很好的效果，但是当 CNN 达到一定的网络层深度时，会产生梯度弥耗和爆炸问题，导致深层的网络训练准确率反而低于浅层的网络训练准确率。ResNet50 的提出能够解决这类问题，使得网络在深度增加的同时网络的性能也能够得到极大的提升6。近年来，不少研究者利用 ResNet50 网络开展农业研究。郭章龙等7使用ResNet50_Vd 实现对农作物病害的识别，分类准确率达到 99.1%；马鑫鑫等8用 4 种不同的神经网络来识别农田害虫，取得了较好的识别率。文献表明，ResNet50 神经网络可应用于农业图像分类任务中。荔枝在产后表皮易产生多种缺
5、陷，研究它的分级进而实现它的分类计价，可促进果业标准化。本文立足于当前研究现状，构建荔枝表皮缺陷图像数据集，利用 ResNet50 神经网络构建荔枝表皮缺陷检测模型，并与 KNN 算法、RF 算法所构建的分类模型进行对比，评估模型的分类效果与性能。1材料与方法1.1材料1.1.1供试材料本试验所使用的“荔枝”采购自福建省福州市永辉超市，品种为“桂味”。1.1.2试验平台福建省农业科学院数字农业研究所自主构建了一套图像获取试验平台，如图 1 所示。平台包括 1 台吉农牌计算机分选机（型号为 TN-68A）、3 个 CCD 工业相机（型号为 MV-SUA1600，分辨率为 4 6083 456，镜
6、头焦距为8 mm）、笔记本计算机 1 台（AcerAspireV15T5000）、LED 光源（功率为 128 W）、3 盏机器视觉检测光源（功率为 17 W）等部件，图像采集组件安装于黑色暗箱内。使用福建省农业科学院数字农业研究所自主研发的图像获取试验平台获取荔枝图像，获取的图像分辨率为 4 6083 456，分别从正上方、侧前方、右侧方 3 个方向获取图像，本文使用的图像为从侧前方方向上获取的。参照荔枝标准9将获取的荔枝图像划分为正常、裂口、霉变 3 类，于 2022 年 7 月在 30 下采集了 2 931 张图片，其中包含 1 461 张正常类图片、765张裂口类图片和 705 张霉变
7、类图片，如图 2 所示。基金项目福建省自然科学基金“基于循环神经网络的荔枝品质分级模型优化研究”（编号：2020J011377）；福建省农业科学院科技创新团队建设“智慧农业科技创新团队”（编号：CXTD2021013-1）、“南方丘陵农情监测科技创新团队”（编号：CXTD2021012-3）Science and Technology&Innovation科技与创新2023 年 第 17 期653照明装置；31低位照明灯；32高位照明灯；1图像采集箱；11每组横梁；111横移导轨；12纵梁；120第二螺栓；13摄像头安装架；130第三螺栓；14摆架；110第一螺栓；10果蔬输送机构；15支撑立
8、柱；4反光布。图 1试验平台结构图（a）正常类荔枝图像（b）霉变类荔枝图像（c）裂口类荔枝图像图 2获取的荔枝图像1.1.3硬件设备本文模型训练使用的深度学习服务器为 AMDEPYC 7763 64-Core Processor2 CPU，64 GB16 内存，GeForce RTX 3 090 BULK8 GPU，Ubuntu 20.04系统，Pytorch 1.12.1 深度学习框架。1.2试验方法本文基于荔枝表皮缺陷图像数据集，采用残差神经网络 ResNet50 算法构建荔枝表皮缺陷检测模型，并分别使用 KNN 算法、RF 算法构建模型，将它们作为对比参照，以便于评估模型的分类效果与性能
9、。1.2.1构建荔枝表皮缺陷图像数据集将获取的 2 931 张共 3 类荔枝表皮缺陷图像作为数据集并按留出法以 82 的比例划分为训练集和测试集。1.2.2基于 ResNet50 构建荔枝表皮缺陷检测模型当前人工智能已渗透到各个领域中，机器视觉是人工智能领域的一个重要分支，它是主要用于模仿人类视觉功能的机器，通过对目标图像进行特征提取并加以分析理解，最终实现对目标的分类识别，其中神经网络是当前十分重要的一类识别方法10。随着卷积神经网络的发展，发现卷积层越深模型的效果越好，但是试验证明网络深度增加会造成梯度爆炸、消失，导致系统不能收敛11。ResNet50 是一种深度卷积神经网络，它是 Res
10、Net 系列模型中的一种，由微软研究院的 HE 等于 2015 年提出。ResNet50 包含50 层，主要特点是引入了残差块（Residual Block）的概念，通过跳跃连接（shortcut connection）解决了深度网络训练中的梯度消失和梯度爆炸问题，残差块结构如图 3 所示。图 3ResNet50 残差块结构每个残差块由多个卷积层组成，其中的跳跃连接允许数据在网络中绕过部分层，保留更多信息。ResNet50 允许网络尽可能的加深，但它将输入中的一部分数据不经过卷积网络，直接送入到输出，保留一部分原始信息，正是这种结构才使得在反向传播时的梯度弥散问题得到有效防止，从而使得网络深度
11、可以达到上百层甚至更深12。正是因为 ResNet50 能够构建非常深的网络结构，所以网络的学习能力和表达能力得到了提升。ResNet50 在图像分类、目标检测和图像分割等复杂任务上有出色的性能，成为深度学习研究XX恒等映射F（x）残差函数线性修正权重层F（x）+X线性修正权重层科技与创新Science and Technology&Innovation662023 年 第 17 期和应用的重要基础模型，因此选择它作为本文的荔枝表皮缺陷检测的分类模型。采用 Python 语言编程，利用深度学习服务器进行模型训练。先将图像进行裁切预处理后输入，使用ResNet50 算法训练样本，构建荔枝表皮缺陷
12、检测模型。1.2.3与其他算法进行比较为了评估模型的分类效果与性能，分别使用 KNN算法、RF 算法来构建荔枝表皮缺陷检测模型，将它们作为对比并重复每一种算法建模过程 10 次，对比各个模型之间的分类准确率与模型运行耗时。2结果与分析在数据集上重复 3 种算法的建模过程 10 次后，得到的结果如图 4图 7 所示。图 4各个模型运行 10 次的分类准确率图 5各个模型运行 10 次的耗时图 6各个模型分类准确率的最小值、最大值及平均值图 7各个模型运行耗时的最小值、最大值及平均值从图 4 中可以看出，ResNet50 算法构建的模型运行 10 次过程中有 9 次的模型分类准确率均高于其他 2种
13、算法，在第 4 次运行过程中，ResNet50 算法模型分类准确率为 93.02%，而 RF 算法与 KNN 算法分别为94.89%与 75.47%，略低于 RF 算法且较高于 KNN 算法；从图 6 中可以看出，在 10 次运行过程中 ResNet50算法的模型分类准确率的最小值、最大值及平均值分别为 93.02%、100.00%、98.03%，最大值及平均值均略高于 RF 算法且较高于 KNN 算法，但是最小值略低于 RF 算法且较高于 KNN 算法；从图 5、图 7 中可明显看出，ResNet50 算法在运行 10 次过程中，运行耗时相较于其他 2 种算法较多，其运行耗时最小值、最大值，
14、及平均值分别为 31.85 s、33.01 s、32.08 s；而 RF算法运行耗时的最小值、最大值及平均值仅仅分别为8.57 s、9.10 s、8.81 s；KNN 算法运行耗时的最小值、最大值及平均值更少，分别为 0.66 s、0.69 s、0.67 s。3结论综合试验结果可以得出，使用 ResNet50 算法构建的荔枝表皮缺陷检测模型是最佳的选择。尽管ResNet50 算法的程序运行耗时比其他 2 种算法多出2030 s，但其模型分类准确率 10 次中有 9 次均为最高，最高的准确率达到 100%。这说明 ResNet50 算法在表皮缺陷检测任务中具有非常优异的性能，能够高效地捕捉表皮缺
15、陷的特征，从而实现高精度的分类。在实际应用中，高分类准确率是非常关键的。荔枝表皮缺陷的检测对于保证产品质量和减少浪费非常重要。使用 ResNet50 算法构建的模型可以帮助生产线实现自动化缺陷检测，从而提高生产效率和质量控制水平。尽管 ResNet50 算法的运行耗时稍长，但其高准确率和优异的分类性能为它提供了很好的应用价值。对于表皮缺陷检测这类关键任务，更高的分类准确率往往比运行速度更重要。因此，结合试验结果和实际应用考量，使用ResNet50 算法构建的荔枝表皮缺陷检测模型是最佳的选择，它将有助于提高荔枝的生产质量和效率，带来ResNet50算法ResNet50算法ResNet50算法Re
16、sNet50算法运行次数运行次数Science and Technology&Innovation科技与创新2023 年 第 17 期67更好的生产效益。参考文献：1齐文娥，陈厚彬，罗滔，等.中国大陆荔枝产业发展现状、趋势与对策J.广东农业科学，2019，46（10）：132-139.2王弋，付灯恩，董晨，等.荔枝分枝调控基因 LcSMXL7的鉴定及功能分析J.热带作物学报，2023，44（3）：447-452.3张灵光.农产品质量分级标准是增强市场竞争力的基础J.中国标准化，2007（10）：59-62.4孙宝霞，汤林越，何志良，等.基于机器视觉的采后荔枝表皮微损伤实时检测J.农业机械学报，
17、2016，47（7）：35-41.5庞丝丝，黄呈钺.基于卷积神经网络的图像分类研究J.现代计算机（专业版），2019（23）：40-44.6唐康健，文展，李文藻.基于卷积神经网络的垃圾图像分类模型研究应用J.成都信息工程大学学报，2021，36（4）：374-379.7郭章龙，李宜汀，赵维，等.深度学习驱动的农作物病害识别模型研究J.电脑知识与技术，2023，19（7）：18-20.8马鑫鑫，张巧雨，马越，等.基于深度学习的农田害虫识别研究J.信息与电脑（理论版），2022，34（24）：180-182.9陈石榕.国际鲜荔枝标准J.标准化信息，1997（4）：11-12.10王文成，蒋慧，乔倩
18、，等.基于 ResNet50 网络的十种鱼类图像分类识别研究J.农村经济与科技，2019，30（19）：60-62.11曹振军，景军锋，苏泽斌，等.基于树莓派的深度学习色织物疵点检测研究J.棉纺织技术，2019，47（1）：11-15.12罗维平，徐洋，陈永恒，等.基于迁移学习和改进 ResNet50网络的织物疵点检测算法J.毛纺科技，2021，49（2）：71-78.作者简介：刘现（1985），女，福建福州人，硕士，助理研究员，研究方向为环境感知与智能控制。通信作者：张海佳（1976），男，福建漳州人，学士，高级工程师，研究方向为农业信息化。（编辑：丁琳）（上接第 63 页）8HOU Q，Z
19、HOU D，FENG J.Coordinate attention forefficientmobilenetworkdesignC/2021IEEE/CVFconference on computer vision and pattern recognition（CVPR），2021.9刘长德，顾宇翔，张进丰.基于小波滤波和 LSTM 神经网络的船舶运动极短期预报研究J.船舶力学，2021，25（3）：299-310.10李勇，高小榕，郭爱雯.基于连续小波变化的心音信号时频分析J.清华大学学报（自然科学版），2001，41（3）：77-80.11候少麒，梁杰，殷康宁，等.基于空洞卷积金字塔的
20、目标检测算法J.电子科技大学学报，2021，50（6）：843-851.12石鑫，朱永利，宁晓光，等.基于深度自编码网络的电力变压器故障诊断J.电力自动化设备，2016，36（5）：122-126.13来杰，王晓丹，向前，等.自编码器及其应用综述J.通信学报，2021，42（9）：218-230.作者简介：范儒彬（1986），男，学士，工程师，主要从事海洋灾害预警预报、海洋灾害调查评估、海洋经济运行评估分析等方面的工作。廖国铭（1998），男，学士，工程师，主要从事计算机视觉算法、机器学习、全栈开发等方面的工作。李学恒（1974），男，高级工程师，主要从事海域海岛动态监管、海洋生态修复、海域海岸带和海岛修复等方面的工作。杨文佳（1995），男，理学学士，高级工程师，主要从事测绘地理信息、信息化、海平面影响调查评估等方面的工作。孙活坤（1995），男，学士，助理工程师，主要从事海洋观测预报预警、海洋设备管理运维、海洋数据分析等方面的工作。陈升敬（1996），男，学士，高级工程师，主要从事计算机视觉、多模态融合表征、机器学习、软件开发与管理等方面的工作。李晓威（1997），男，学士，工程师，主要从事计算机视觉算法、软件开发等方面的工作。通信作者：吕建明（1980），男，博士，教授，主要从事多模态数据融合等方面的工作。（编辑：丁琳）
