1、 南京农业大学学报，（）：收稿日期：基金项目：江苏省重点研发计划项目（）；国家自然科学基金项目（，）；中央高校基本科研业务费专项资金（）作者简介：范安琪，硕士研究生。通信作者：潘磊庆，教授，博导，主要从事农产品无损检测与贮藏加工研究，：；孙柯，博士，讲师，主要从事农产品无损检测研究，：。范安琪，左常洲，彭菁，等 基于双目立体视觉的冻干草莓外部品质等级检测方法研究 南京农业大学学报，（）：，（）：基于双目立体视觉的冻干草莓外部品质等级检测方法研究范安琪，左常洲，彭菁，孙柯，赵保民，朱太海，陈飞，屠康，潘磊庆（南京农业大学食品科学技术学院，江苏 南京；安徽师范大学生命科学学院，安徽 芜湖；江苏派乐
2、滋食品有限公司，江苏 徐州）摘要：目目的的 本文旨在建立基于双目立体视觉检测冻干草莓外部品质的方法，实现冻干草莓外部品质等级的无损识别。方方法法 应用双目立体视觉技术及像素点匹配算法获取冻干草莓图像中各像素点的视差数据，建立其三维立体模型；以模型体积、图像颜色、形状和纹理品质指标作为特征参数，采用连续投影算法（）筛选出最优特征参数，分别以未筛选的特征参数和筛选后的特征参数建立冻干草莓外部品质等级识别模型，比较各模型的判别分级效果；最后选取最优的识别模型开发冻干草莓外部品质分级软件并进行验证。结结果果 使用未经筛选的特征参数对冻干草莓进行品质等级判别时，支持向量机（）模型预测集分级总体准确率为，
3、偏最小二乘法判别分析（）预测集分级总体准确率为。使用 算法筛选后的特征参数（体积和红色分量均值）所建立的 模型和 模型分级总体准确率分别为 和。采用经 算法筛选后特征参数构建的 模型开发了冻干草莓外部品质识别软件，软件总体准确率可达到。结结论论 基于 筛选的特征参数构建的 分级预测模型具有较好的判别效果，其建模集和预测集的准确率分别可达 和。以该模型为基础开发的软件能够实现冻干草莓外部品质的检测。关键词：冻干草莓；双目立体视觉；外观品质；模式识别；软件开发中图分类号：文献标志码：文章编号：（），（，；，；，）：，（），（）（），（），第 期范安琪，等：基于双目立体视觉的冻干草莓外部品质等级检测
4、方法研究，：；草莓（）为多年生常绿草本植物，其果实香气诱人，鲜美可口，富含维生素、叶酸以及磷、铜等矿物质，营养价值和保健价值极高。然而，新鲜草莓外表柔软，极易受到机械损伤，从而发生腐败变质。为了最大程度利用草莓，减少采后损失，草莓常被加工成果酱、果酒、水果脆片等休闲食品。其中，冻干草莓既能保留草莓中的色香味和营养物质，又方便储存、不易变质，受到消费者的广泛喜爱。目前，由于草莓外观的差异及加工技术的影响，导致冻干草莓在大小、颜色等方面存在显著差异。因此，对冻干草莓进行外部品质分级有利于分级售卖，提高其经济效益。感官评价作为鉴别果蔬品质的传统方法，存在主观性强、耗时费力等缺点，无法满足大型食品工厂
5、的生产需求。近年来，无损检测技术由于其快速准确、不损害产品品质等优点，发展迅速，被广泛应用于农产品的品质检测及鉴别分级。计算机视觉技术作为无损检测技术的一种，可以通过图像传感器获取目标图像，再经过图像处理、图像特征提取和模式识别等数据处理方法，对图像信息进行分析、处理和识别，从而实现对样品的大小、颜色、形状、纹理等指标的测定。双目立体视觉技术作为计算机视觉领域的一个重要分支，它除了能够对物体进行感知和理解外，还能实现物体三维信息的获取，从而完成确定物体位置、对物体进行三维重建等任务。目前，双目立体视觉技术在果蔬品质检测和分类识别中已得到广泛应用。童旭以苹果和梨为研究对象，拍摄其双目图像，通过主
6、成分分析筛选出 个特征变量，包括颜色、纹理及形态特征；随后，采用改进后的反向传播神经网络和支持向量机算法建立水果表面缺陷检测模型，其准确率分别能达到 和。云双等利用双目视觉系统拍摄柚子的双目图像，提取图像中柚子的轮廓并运用射影几何定理确定其像面轴线，为柚子的分选、品质检测以及采摘机器人的研发提供了理论基础。李兵兵在拍摄得到芒果的双目图形后，采用了 种卷积神经网络模型进行建模，并对芒果进行识别，结果表明在芒果被杂物遮挡或果实重叠的情况下，双目立体视觉结合 卷积神经网络模型仍能达到 以上的识别率。目前，草莓果实无损检测的研究主要集中于草莓果实的外部品质分级及内部品质预测。杨涛等使用单目计算机视觉建
7、立了基于大小、形状和颜色的草莓自动分级的方法。丁希斌等使用高光谱图像的特征波长信息建立草莓可溶性固形物含量的预测模型，相关系数高于。等使用高光谱图像和最小噪声分离法建立草莓机械损伤和霉变的检测方法，准确率达。蔡德玲等使用近红外光谱结合竞争性自适应重加权算法偏最小二乘模型建立草莓可溶性固形物含量预测模型，相关系数达，均方根误差为 。目前对草莓品质的检测主要用于草莓鲜果，而冻干草莓检测分级方面的研究较少。双目立体视觉技术由于可以获得待测样品的三维空间信息，应用于冻干草莓的体积检测可提高其检测精度。本试验以人工感官评价的结果为依据，对冻干草莓进行品质等级划分后，采用双目相机采集冻干草莓图像，并以冻干
8、草莓的体积、颜色、形态和纹理作为特征参数，建立冻干草莓外部品质分级模型并比较其识别效果，最终选取分级效果最优的模型进行冻干草莓外部品质检测与分级软件开发，为进一步研发在线的冻干草莓外部品质分级装备提供技术和理论支撑。材料与方法 试验材料本研究所用样品来源于江苏省派乐滋食品有限公司生产的冻干草莓产品，共计 个，单个体积为（），果形指数为。其中，个用于模型构建，个用于模型验证，个用于软件验证。冻干草莓外观品质人工分级冻干草莓的大小和形状反映原料草莓的价值，而纹理和颜色则能反映草莓的质构和冻干效果。参照已有冻干果蔬品质的感官评价方法，结合派乐滋食品公司对冻干草莓的销售经验，确定对冻干草莓市场价值的外
9、部品质影响因素从大到小分别为冻干草莓的大小、形状、纹理和颜色。基于以上因素确定冻干草莓权重和三等级分级标准，具体如表 所示。挑选经过感官评定培训的食品专业感官评价员 人（男 女），并挑选标准体积和果形指数样品对感官评价员进行训练。评价员再参照表 的标准对冻南 京 农 业 大 学 学 报第 卷干草莓样品的大小、形状、纹理和颜色 个因素进行感官评价，并依据确定的权重融合 因素评价结果将冻干草莓的综合外观品质分为 个等级（图）。其中一等品为 分，二等品为 分，三等品为低于 分。表 冻干草莓外部品质分级 等级指标（权重）（）大小（）形状（）纹理（）颜色（）一等体积 果形指数 且果形对称，光滑颜色鲜艳二
10、等 体积 果形指数 且果形基本对称，较光滑 颜色正常三等体积 果形指数 且果实畸形或表面有凹陷，粗糙颜色较暗 双目立体视觉系统的搭建双目立体视觉系统装置主要由 个相同型号的工业相机和镜头、支架、光源、暗箱和计算机组成。其中，台彩色工业相机型号为（，美国），其装配 定焦镜头（，日本），分辨率（）为 ，台相机中心距离为 ，相机镜头前端与样本台的距离为 。暗箱的内部（长宽高）尺寸为 。光源为 宽的 白色灯带，贴在暗箱顶处，灯带外套有半透明漫反射灯罩，可以使光线更加均匀。该装置配备的计算机 型号为（）（），运行内存为 ，操作系统为 （位）。图像采集装置如图 所示。图 不同等级的冻干草莓图像.图 双目立
11、体视觉采集系统.图 冻干草莓图像采集过程及结果.图像采集时冻干草莓位置示意图 ；冻干草莓左目图像 ；冻干草莓右目图像 图像采集及处理 图像采集 利用上述双目立体视觉系统采集冻干草莓图像。如图 所示：每次拍摄时，样品摆放于 台工业相机视野交叉区域中心，同时拍摄，每个样品采集 张彩色图像，分别为左目图像和右目图像。个样品共采集 张图像，图像分辨率（）为 ，存储格式为。第 期范安琪，等：基于双目立体视觉的冻干草莓外部品质等级检测方法研究 图像预处理 利用 （，美国）软件对图像进行预处理（左、右目图像处理相同，以左目图像为例）。如图 所示：首先使用加权平均法对冻干草莓图像进行灰度转化，得到冻干草莓灰度
12、图像；然后采用固定阈值分割方法（分割阈值取）进行图像分割，去除面积小于 像素点的连通域以降低背景的干扰，获得冻干草莓区域二值图像；最后以草莓区域二值图像为模板，从原图上分割出冻干草莓图像并切除其最大外接矩形之外的图像区域。图 冻干草莓图像预处理流程.原始图像 ；灰度图像 ；冻干草莓区域二值图像 ；冻干草莓区域切分后二值图像 ；预处理后冻干草莓图像 特征提取 体积特征提取 搭建的双目立体视觉系统为左、右相机平行放置，因此根据平行放置的视觉模型结合相似三角形原理可以推导出，在左、右相机距离固定的情况下，空间中某一点距离相机越近，该点在左、右相机成像平面上的位置相距越远。即图像中冻干草莓某一像素点位
13、置的高度与该点在立体图像对中的视差成正比，再对所有采样点的视差求和获得冻干草莓的未标定体积。本试验中冻干草莓的未标定体积具体提取方法如下：）图像灰度值调整。将预处理后的左、右目图像分别灰度化得到左、右目灰度图像，计算出平均灰度值 和，将右目灰度图像中的每个像素点的灰度值乘以 ，获得调整后的右目灰度图像。）采样点确定。将左目灰度图像从上往下每隔 像素点设置一条水平直线，从左到右每隔 像素点设置一条竖直直线，水平直线与竖直直线的各交点像素如果落在左目灰度图像的冻干草莓区域中，则将其选定为采样点。）左、右目图像采样点匹配。设某左目灰度图像中的采样点坐标为（，），获取采样点周围 的像素灰度矩阵：（，）
14、（，）（，）（，）（，）（，）（，）（，）（，）|（）式中：（，）表示坐标为（，）点的灰度值。遍历右目灰度图像中纵坐标为、和 的 行像素，依次获取每个像素周围像素点的矩阵（遍历的像素总个数）：（，）（，）（，）（，）（，）（，）（，）（，）（，）|（）式中：，。计算矩阵 和各矩阵 的对应点灰度值差的平方和：（）（）（，），（）遍历，找出 中最小的元素，与其对应的 矩阵中心点坐标为（，），则左目灰度图像中的采样点坐标为（，）的像素点与右目灰度图像中的（，）的像素点匹配。使用此方法找出左目图像中所有采样点在右目灰度图像中的匹配点。）冻干草莓三维模型建立。以各采样点与匹配点的横坐标之差的绝对值作为视
15、差（，），建立一个长南 京 农 业 大 学 学 报第 卷图 冻干草莓的三维模型.为，宽为 的矩阵，然后将（，）中的元素赋值于对应位置的（，）中，再将 中未赋值的元素赋值为，最后使用 的中值滤波方法对 矩阵进行中值滤波，得到冻干草莓的三维模型（图）。）模型体积提取。对 矩阵中所有元素进行求和，即得到冻干草莓的未标定体积。冻干草莓模型体积标定采用石英砂（直径为）体积置换法测得冻干草莓的实际体积，再计算实际体积与未标定体积之间的线性方程。根据此线性方程式将图像中提取到的冻干草莓体积换算为实际单位。形状特征提取 果形指数是指果实纵径与横径的比值。果形指数越大，冻干草莓越接近圆锥形。在本研究中，果形指数
16、大于 的冻干草莓为长圆锥形，果形指数在 至 之间的冻干草莓为圆锥形，果形指数小于 的冻干草莓为短圆锥形或圆形。傅里叶描述子进行形状描述的原理是通过傅里叶变换，将物体的轮廓信息表示为一组复数序列，进行从空间域到频域的转换，即用一个向量代表物体轮廓，将轮廓数字化，从而能更好地区分不同轮廓，进而达到识别物体的目的。本试验先对物体边界进行傅里叶变换，再选取、和 个傅里叶系数重新对左目图像中冻干草莓的边缘进行描述，如图 所示。采用 个傅里叶系数逆变换后，物体边界与原边界差异较大，而使用 个傅里叶系数逆变换后，物体边界与原边界已较为近似。因此，选用前 项傅里叶描述子表达冻干草莓的形状特征，分别表示为，。图 冻干草莓边界图像重建效果图.原边界 ；个傅里叶系数逆变换后的边界 ；个傅里叶系数逆变换后的边界 ；个傅里叶系数逆变换后的边界 颜色特征提取 颜色是消费者评价水果品质的重要影响因素。颜色模型通常应用于硬件设备，即相机等设备中的彩色图像是由红、绿、蓝三原色通过不同比例叠加显示出来的，由这种方式采集到的彩色图像可以直接作为图像处理的原始数据。颜色模型与人的生理视觉反应最为接近，最符合人的视觉特征。颜色