1、第 卷，第期 光谱学与光谱分析 ，年月 ，高光谱图像结合深度学习的油菜菌核病早期识别梁万杰，冯辉，江东，张文宇，曹静，曹宏鑫江苏省农业科学院农业信息研究所，江苏 南京 江苏省农业科学院植物保护研究所，江苏 南京 中国科学院地理科学与资源研究所，北京 江苏大学农业工程学院，江苏 镇江 摘要油菜菌核病为土传病害，发病早期叶片无可见症状，从植株表面很难发现。用叶片的普通光谱图像或 图像无法对其进行识别。采用高光谱图像作为监测技术，结合深度学习模型构建油菜菌核病发病早期识别模型，并取得了较好的识别效果。以油菜菌核病为研究对象，采用菌丝块接种法，在油菜根部诱发病害。分别于发病后第、天采集发病油菜植株和健
2、康植株光谱图像。对高光谱图像去除背景、光谱曲线平滑处理、剪切、分割等处理后构建模型训练测试数据集。以 深度学习模型为基础，通过增加特征图数量，减小第层卷积核大小来提高模型对油菜菌核病发病早期的识别能力。通过交叉验证、模型结构改进前后识别能力对比、模型泛化能力测试等，验证了改进模型的识别能力和泛化能力。模型结构改进前后，对油菜菌核病发病早期的识别正确率分别是 、和 ，改进后模型的识别正确率分别提高了 和 ，模型的识别精度和召回率也得到很大提高。所提出的识别模型平均识别正确率为 ，精度和召回率达到 以上，只有对发病第天的召回率为 。把构建的多分类模型设定为是否受病害胁迫的二分类模型，则模型的正确率
3、 ，精度 ，召回率 ，同时，模型对第天测试集的识别正确率达到 。改进后的 模型可有效保留数据的光谱特征和局部特征，使模型对油菜菌核病发病早期的识别能力显著提高。该模型对发病周内的油菜菌核病严重程度具有较好的识别能力。对是否发病的识别能力更高，模型识别正确率、精度和召回率均达到 以上。模型对油菜菌核病发病早期识别具有很好识别能力和泛化能力。因此，该模型可综合利用高光谱图像的光谱和图像特征，解决油菜菌核病发病早期无症状、识别困难的问题；也可为基于高光谱或多光谱图像的农作物病害早期识别技术的发展提供参考。关键词深度卷积神经网络；高光谱图像；油菜菌核病；早期诊断；中图分类号：文献标识码：（）收稿日期：
4、，修订日期：基金项目：国家自然科学基金面上项目（），江苏省农业科技自主创新资金项目（）资助作者简介：梁万杰，年生，江苏省农业科学院农业信息研究所副研究员 ：通讯作者 ：引言我国是农业大国，农作物种类多、分布广。主要农作物病虫害达 多种，具有种类多、影响大和局部暴发成灾等特点。病害已成为制约高产、优质、高效农业可持续发展的主要因素之一。仅 年，世界范围内因病虫害造成的小麦、水稻、玉米、马铃薯及大豆等主要粮食作物的减产分别达到 、和 。作物病虫害已成为目前农业管理中最基本、最重要也是最值得关注的问题之一。目前，病虫害防治中存在生物制剂、化学农药等非绿色方法，理化检测和人工调查比较费时、费力等问题。
5、这些问题造成过量、不当的农药喷洒，引发农药残留，严重影响农产品产量和品质；不能及时掌控病虫害发展情况，错过最佳防治时机，造成重大损失。从作物病虫害防治角度，工作重点在于“预防为主”及“早发现，早防治”。因此，作物病害发病早期识别具有重大科学意义。病虫害早期识别的目标是通过对作物生理变化的识别，尽早确定疾病的发生。等利用中红外光谱，通过光谱分析和波段选择，构建油菜菌核病识别模型，分类正确率达到 以上。等利用激光诱导击穿光谱识别油菜菌核病，准确率达到 以上。等对感染霜霉病的葡萄叶片的光谱时序变化研究发现，红边波长可用于接种后第 天的疾病检测，可用于接种后第 天后的疾病检测。桂江生等基于高光谱图像的
6、 模型，实现了发病天后大豆花叶病的早期快速检测。这些成果为作物病害早期识别奠定了坚实基础，具有重大的意义。高光谱遥感技术在中小尺度的作物病虫害监测识别上已表现出较大潜力，可为作物病虫害“有效防控”和“精准施治”提供依据。高光谱成像技术可同时获得作物连续的光谱信息和高分辨率的图像信息，是作物病虫害信息获取和监测的有效技术。等利用高光谱图像、波段优选算法和分类模型分别研究油菜叶部和颈部菌核病识别方法，识别准确率都达到 以上 。杨燕和何勇利用高光谱成像技术实现水稻 抗 氧 化 酶 值 的 预 测，从 而 实 现 稻 瘟 病 的 早 期 识别。李波等以高光谱技术为检测手段，结合主成分分析（）和概率神经
7、网络（）实现对多种水稻病虫害的快速、精确识别。目前，深度学习已成为农作物病虫害实时监测与智能诊断研究热点。深度学习模型，特别是卷积神经网络（，）模型，可自主学习数据特征，从原始图像中重构图像的高层语义特征。王献锋等利用棉花生长的环境信息，提出一种基于自适应判别 的棉花病虫害预测模型。宋余庆等提出了多层次增强高效空间金字塔（，）卷积深度学习模型，解决了植物病虫害图像尺寸不相同问题，实现了多作物多病害的识别。赵立新等通过改进 模型，并利用迁移学习和数据增强技术，使模型平均准确率达到 。姚青等利用改进的 深度学习模 型，实 现 了 水 稻 冠 层 稻 纵 卷 叶 螟 和 二 化 螟 的 识别。这些研
8、究在基于 图像的作物病害识别方面取得了较高的识别精度，为作物病害识别奠定了坚实的基础，可以为基于高光谱图像的作物病害早期检测提供技术支撑。油菜菌核病是油菜生产中危害最严重且常见的一种土传病害。鉴于高光谱成像技术在作物病害监测方面的技术优势，以及深度学习模型自学习能力和特征提取上的技术特点，以油菜菌核病为研究对象，通过人工接种菌丝试验，利用高光谱成像和深度卷积神经网络模型对油菜菌核病发病早期识别方法进行研究。实验部分 数据获取与处理本研究采用菌丝块接种法，油菜菌核病菌丝由江苏省农业科学院植物保护研究所提供。油菜品种是宁油。年月育苗，培育至约 高，选取健壮，长势均匀的幼苗移栽至塑料桶（高：，直径：
9、）单株培育。年月 日进行病菌接种，并用健康油菜作对照。在油菜接近土壤的茎部用刀片做切口，利用打孔器从培养基上生长旺盛的菌落边缘取直径 的菌块，并将布满菌丝的一面附着在切口处，用无菌水湿润脱脂棉贴在菌块上，最后用黑色垃圾袋把接菌丝处包裹严密，如图所示。年月 日接菌丝处有病症显现，月 日、日、日，以及月日采集发病和健康植株的高光谱图像。高光谱成像仪是美国 公司的 。光谱范围：；光 谱 分辨率：；图像分 辨 率：；光谱波段数：。高光谱图像采集平台如图。主要包括台卤素补光灯，个旋转平台，高光谱仪和采集系统。每株油菜每旋转 度采集幅高光谱图像，共采集幅图像。对高光谱图像进行去除背景、光谱曲线平滑处理、剪
10、切、分割等处理。图油菜接种菌丝试验实例 图高光谱图像采集平台 数据集构建方法油菜菌核病发病部位在根茎部，发病早期叶面无病症。为实现病害早期识别，把接种菌丝植株的叶片视为发病叶片。把不同发病期和健康植株的高光谱图像分为健康、发病第期 梁万杰等：高光谱图像结合深度学习的油菜菌核病早期识别第天、发病第天、发病第天和发病第天个类别。经过数据预处理的高光谱图像，以 个像素为步长，被分割成 大小的高光谱图像，然后整理出叶片占图像 以上的高光谱图像用于数据集构建。分类整理后，数据集中各类别高光谱图像信息如表。其中发病第、天样本数偏少，是因为发病植株叶片脱落造成。随机从每个类别挑选的高光谱图像的红、绿、蓝波段
11、组成的图片，如图所示。把发病第、天和健康油菜组成模型训练测试数据集，发病第天作为测试集。采用 交叉验证，每个数据集被均分成份，份作为训练集，份作为验证集，即 作为训练集，作为验证集。图部分发病和健康油菜叶片（）：发病第天；（）：发病第天；（）：发病第天；（）：发病第天；（）：健康油菜 （）：；（）：；（）：；（）：；（）：表数据集信息 类别类别编码高光谱图像大小高光谱图像数量健康植株 发病第天 发病第天 发病第天 发病第天 模型构建 识别模型残差网络（），引入残差模块、恒等映射、瓶颈层等技术，通过增加网络层数使其具有更好的特征表达能力，巧妙地解决了网络深度引发的梯度消失或梯度爆炸问题；有效控制
12、了网络参数和计算复杂度。以 为基础，通过改善模型结构，构建了油菜菌核病发病早期识别模型。模型参数和结构如图所示，代表卷积层，后面的数字为卷积核大小；为输出特征图个数，为步长，为填充值。模型结构图中省略了归一化层和激活函数层。模型的激活函数采用 。激活函数可以使梯度正常传播，并能避免神经元处于“死亡”状态。与标准 相比，模型结构进行如下调整：（）模型的输入数据是一个 的高光谱图像数据立方体。（）第个卷积层的卷积核大小由调整为。（）第个卷积层和卷积层模块的特征图数量调整为 。（）最后一个卷积层的输出特征图数量为 。模型运行环境模型基于 深度学习平台实现。是一个小众的深度学习框架，但该框架具有以下优
13、点：（）没有任何依赖项，易于安装；（）结构明晰，源代码查看、修改方便；（）易于移植，有利于模型系统与其他系统集成及应用开发。在原有系统上主要增加了对高光谱数据块的加载、预处理等功能。用于模型训练和测试的 是 ，该款 采用第碟 架构，搭载了全新的 、及 流式多处理器，核心数 ，存储 。操作系统是 。模型性能评价指标为评价油菜菌核病发病早期识别模型的性能，选择正确率（）、精度（）和召回率（）作为模型性能评价指标。正确率表示正确分类样本数除以样本总数，正确率越高模型性能越好。精度是精确性的度量，表示被分为正例的样本中实际为正样本的比例。召回率是覆盖面的度量，衡量分类器对正样本的识别能力。正确率、精度
14、、召回率计算公式如式（）式（）所示。（）（）（）（）（）（）（）式中，为正样本（）；为负样本（）；为正样本被分为正样本的个数；为负样本被分为正样本的个数；为负样本分为负样本的个数，为正样本分为负样本的个数。结果与讨论 模型结构改进前后性能对比为验证模型结构调整前后对油菜菌为核病发病早期的识别能力，在相同试验条件下通过交叉验证，统计模型改进前后的正确率、精度和召回率，结果如表。只把输入图像从层的 图像改成 层的高光谱图像数据块，模型对油菜菌核病发病早期识别正确率为 ，精度分别为 、光谱学与光谱分析第 卷图油菜菌核病早期检测模型结构 表不同结构模型识别性能 不同发病期模型正确率精度召回率本研究模型
15、第天（）第天（）第天（）（增加输入层和特征图）第天（）第天（）第天（）（只增加输入层）第天（）第天（）第天（）和 ，召 回 率 分 别 为 、和 。这说明只改变输入数据的 模型对油菜菌核病发病早期识别能力比较低。在改变输入数据基础上，把第一阶段卷积层的特征图数量从 增加到 ，并把最后一层卷积层从 改为 。改变后模型对油菜菌核病发病早 期 识 别 正 确 率 达 到 ，精 度 分 别 为 、和 ，召 回 率 分 别 为 、和 。识别正确率提高了 ，对各类别的识别精度和召回率都有提高。说明结构调整后可以提高模型对油菜菌核病发病早期的识别能力。增加特征图数量可以很好地保留高光谱图像的光谱信息，说明光
16、谱信息对油菜菌核病发病早期的识别起到关键作用。在前面改进的基础上，把第一个卷积层的卷积核大小从调整为，模型对油菜菌核病发病早期识别正确率达到 ，精度分别为 、和 ，召 回 率 分 别 为 、和 。结构调整后模型的识别正确率提高了 ，对各类别的识别精度和召回率也有提高。小的感受野可保留更多局部特征，说明局部特征对油菜菌核病发病早期识别更加重要。油菜菌核病发病早期识别模型为验证改进后模型对油菜菌核病早期识别能力，以发病第、天和健康植株数据集为基础，通过交叉验证，统计各模型的正确率、精度和召回率的平均值，结果如表。表前行统计的是模型对数据集的正确率，对发病第、天的 识 别 精 度 和 召 回 率。模 型 对 第 天 的 召 回 率 为 ，其他指标都在 以上。这说明模型对油菜菌核病早期不同发病期具有较好的识别能力。众所周知，作物一旦受到病害胁迫，首先会引起作物本身保护机制的一系列反应。这一过程会导致次优生长，表现为叶面积指数降低、色素沉着、含水量变化和表面温度等的变化。所有这些变化或多或少地影响了作物（冠层、叶片）的光谱特征。并随着发病天数的增加，作物生理反应增大，光谱特征变化更明显。从第期