1、SOFTWARE2023软 件第 44 卷 第 1 期2023 年Vol.44,No.1作者简介：简著名（1974）,男,湖北武汉人,本科,工程师,研究方向：工业自动化；李会平（1969）,男,湖北仙桃人,大专,二级技师,研究方向：工艺设备；张思明（1982）,男,湖北汉川人,本科,工程师,研究方向：计算机算法；张瑞琪（1993）,女,湖北孝感人,硕士,助理工程师,研究方向：视觉识别；张亮（1990）,男,河南漯河人,硕士,工程师,研究方向：工艺质量；陶智麟（1975）,男,河南许昌人,本科,高级工程师,研究方向：工艺规划。基于视觉识别的制丝线流量检测与均衡方法与实践简著名1 李会平1 张思明
2、1 张瑞琪1 张亮1 陶智麟2（1.湖北中烟工业有限责任公司武汉卷烟厂，湖北武汉 430048；2.中国烟草总公司郑州烟草研究院，河南郑州 450001）摘要：在卷烟行业的制丝加工生产过程中,生产线的叶丝原料的流量稳定性水平,对制丝工艺的整体质量、生产损耗率等工艺指标起着至关重要的决定性影响。因此,能够实时、精准获得叶丝流量的准确数据,有着重要而特殊的意义。本文选取制丝线贮柜出口位置点作为叶丝流量检测的研究对象,通过视觉识别等技术,探索实时、准确获取流量数据的方法,以帮助实现制丝线实现流量控制、流量均衡等目标。关键词：制丝工艺；流量检测；视觉识别中图分类号：TP391;TB49 文献标识码：A
3、 DOI：10.3969/j.issn.1003-6970.2023.01.023本文著录格式：简著名,李会平,张思明,等.基于视觉识别的制丝线流量检测与均衡方法与实践J.软件,2023,44(01):089-093Method and Practice of Flow Detection and Equalization of Cigarette Primary Processing Line Based on Visual RecognitionJIAN Zhuming1,LI Huiping1,ZHANG Siming1,ZHANG Ruiqi1,ZHANG Liang1,TAO Zhi
4、lin2(1.Wuhan Cigarette Factory of Hubei China Tobacco Industry Co.,Ltd.,Wuhan Hubei 430048;2.Zhengzhou Tobacco Research Institute of CNTC,Zhengzhou Henan 450001)【Abstract】：In the process of cigarette primary processing in the cigarette industry,the flow stability level of the tobacco raw material in
5、 the production line has a crucial and decisive influence on the overall quality,production loss rate and other process indicators of the cigarette primary process.Therefore,it is of great and special significance to be able to obtain accurate data of the tobacco raw material flow in real time and a
6、ccurately.In this paper,the exit point of the cigarette primary processing line storage cabinet is selected as the research object of the tobacco raw material flow detection,and the method of real-time and accurate acquisition of flow data is explored through visual recognition and other technologie
7、s to help achieve the goal of flow control and flow balance of the cigarette primary processing line.【Key words】：cigarette primary process;flow detection;visual recognition设计研究与应用0 引言在目前卷烟行业的生产加工过程中,制丝生产工艺是三大生产工序中流程最长设备最多操作最复杂的,并且制丝环节的品质直接影响到成品卷烟的吸味体验,成为整个卷烟加工生产的关键环节。影响制丝工艺质量的因素集中表现在水分、组分、温度、流量等方面,任
8、意一项因素都将决定成品烟丝的质量好坏,其中物料流量对制品的温度、水分等均有着较为重要的影响力,流量的控制主要体现在对加香加料、增温增湿、干燥、掺配等工序的均匀性1。因此在生产过程中,叶丝的流量均衡和流量控制水平,直接影响着制丝工艺的品质水平和工艺效率。流量不稳定,会造成后续工段如加料加香等环节的控制难度增加或导致出口端工艺参数偏离值增大,进一步影响到产出烟丝的质量水平,严重时会造成损耗增大,报废增加,甚至出现堵料、断料等严重影响产线正90软 件第 44 卷 第 1 期SOFTWARE常运行的情况。因此各厂家在制丝生产相关流程中,都有相关的流量检测和分析的手段,包括电子秤、光电管、新型计量管等方
9、式2。在产线中加入电子秤节点来实时检测流量,具有准确度高实时性好的优点,但是由于其检测位置具有滞后性的特点难以通过反馈调节的方式降低流量波动；光电管检测流量的方式虽然非常直观,实时性也较好,但是光电管传感器安装位置固定,只能输出开关量信号,无法得到准确流量数据也就无法据此实时调节流量以实现流量均衡降低流量波动。在整条制丝线中,因制丝工艺的需要,叶丝需要从流水线运送到贮柜,在贮柜中暂存后,再出柜进入产线。贮柜就相当于是每段流水线的起点（或终点）。因此本文提出了在贮柜出口处使用视觉识别的方式检测实时流量数据,能够实现流量数据的预测和预判,并据此调节贮柜底带的运行速度,就能实现从贮柜出口流出的叶丝原
10、料波动降低,始终保持在设定标准值的附近,确保后续工序按预设流量来设置的参数,能够处于最佳的运行状态,起到提升品质和降低损耗的效果。贮柜出口作为每段流水线的阶段起点,从源头控制好了流量,对后续整个生产过程质量都能够起到积极有效地提升作用。1 系统设计如图 1,图 2 所示,如果需要能观察到贮柜出口处物料的实时图像,同时需考虑到贮柜顶部布料车的位置,因此设备只能安装在贮柜出口处的内壁靠上沿处,确保能够有足够的视野。在安装过程中,需注意相机的安装角度,满足视野和视场角的要求。由于相机安装在贮柜的一侧,安装时相机视野需覆盖贮柜左右两侧的物料高度,而贮柜两侧的物料和相机之间存在较大的距离差,因此在相机镜
11、头方面需要注意景深范围的选择,通常选择 0.5m 至无穷远即可。在安装调试角度时需使用红色标记目标的方式现场调整,如图 3 所示。1.1 硬件与结构考虑到物料的堆高情况的随机性,物料顶部的料位以及料堆两侧的坡面会出现不规则的形状,因此我们采用二维深度相机来取得实时深度点云信息,再通过算法来做流量估算3。为了确保图像质量,我们采用了可见光相机和深度相机双目同时测量的方式,在不同光线条件下都能得到满足需要的图像。可见光相机得到 RGB彩色图像,深度相机采集到深度点云图像4,采用 200万像素传感器,能够实现实时图像采集与处理。在结构方面,为确保设备在各种不同光照条件下都能得到清晰稳定的图像,我们在
12、相机壳体的前表面加装了柔光补光灯条,不会形成光斑或者局部过亮导致反光；由于设备的安装过程对于角度的调节精确度要求较高,我们采用了水平和垂直两个自由度无级调节并锁紧图 1 空柜示意图Fig.1 Empty cabinet diagram图 2 贮柜工作图Fig.2 Storage cabinet working diagram图 3 相机安装示意图Fig.3 Camera installation diagramYX1米91简著名李会平张思明等：基于视觉识别的制丝线流量检测与均衡方法与实践的方式以确保能适应现场各种安装环境；同时考虑到贮柜的高温高湿的作业环境,相机采用了 IP66 的专业结构设计
13、,并且为了防止粉尘、烟油等烟厂空气环境因素在长期使用过程中造成污染镜头等不利影响,我们采用了可拆卸的工业磁吸钕玻璃作为镜头前窗,可方便地定期拆卸清洗,确保设备运行稳定可靠。如图 4 所示。1.2 算法与软件首先,将 CMOS 图像传感器硬件采集到的可见光图像信息,通过 ISP 算法进行色彩校正、白平衡处理、色差校正、3D 降噪、自动曝光、自动对焦等一系列加工处理后得到原始图像。然后通过 H.264 的流媒体图像压缩算法,将图像压缩为标准格式的码流,供服务端调用。同时,可作为图像处理算法的输入数据使用。在整个图像处理和识别的过程中,图像采集质量作为数据源头对图像处理算法的准确度至关重要。为实现叶
14、丝流量的高精度测量,采用基于深度学习的神经网络算法构建原料用量测量模型5。首先采集到深度相机的点云深度信息,经过线性去抖和平滑处理等图像预处理算法,可得到物料表面不规则形状的三维图像信息。再针对三维图像信息使用机器学习算法进一步处理,可得到算法估算的精确流量数据。具体过程如下：（1）需要先根据应用场景来选择和设计神经网络模型,并根据实际情况做适当的调整；（2）在训练阶段,基于小样本学习算法和高精度参图 4 相机设计图Fig.4 Camera design数算法借助已有的原料深度图像数据生成的测量模型,可以得到神经网络模型的基础参数。随着使用数据来训练模型过程的不断迭代,可得到基本符合训练集数据
15、的参数集。然后再采用针对参数集的高精度稠密插值算法,得到模型的最终参数。从而得到深度图像数据与原料体积之间的映射关系；（3）在推理（测量）阶段,将深度相机所获取的深度图像作为测量模型的输入,模型将输出当前时刻的原图 5 模型的训练和推理Fig.5 Model training and inference基于小样本的测量模型学习高精度参数稠密插值相机参数+训练数据模型基础参数模型最终参数测量模型TOF深度数据原料体积训练阶段推理阶段92软 件第 44 卷 第 1 期SOFTWARE料体积,进而结合原料密度计算得到原料的流量。如图 5所示详细描述了模型的训练和推理过程。图 5 中的输入信息包括深度
16、相机参数,此参数需根据设备应用场景数据利用参数反向估计算法计算得到。得到原料的堆高体积实时数据后,根据底带速率即可推算物料的瞬时流量的数据。当贮柜内的原料堆高形状（体积）发生变化时,如出现料头、料尾时堆高形状线性平缓变化,或者出现物料局部垮塌导致堆高形状瞬时发生突变等情况,瞬时流量数据就会相应出现变化,并且具备一定的提前量（这个提前量的大小,和相机安装位置和贮柜出口的距离除以贮柜底带运行速率的值正相关）,也就是具有预报功能。此时可联动调节底带控制的 PLC 参数,调节底带运行速率,对该物料流量变化起到对冲作用,使得最终产线的实际流量仍能保持稳定,起到了平滑波动、流量均衡的效果。(a)高度 425mm(c)高度 315mm(e)高度 375mm(b)高度 325mm(d)高度 320mm(f)高度 270mm图 6 物料流量三维分析图Fig.6 3D analysis diagram of material flow2 运行效果在实际使用过程中,得益于基于小样本的测量曲面重构模型良好的重构性能,物料表面的三维曲面能够准确地重构,这为物料流量的精确计算提供了数据保证。如图 6 所示（左侧子
