1、第4 0卷第1期2 0 2 3年2月河 北 省 科 学 院 学 报J o u r n a l o f t h e H e b e i A c a d e m y o f S c i e n c e sV o l.4 0 N o.1F e b.2 0 2 3收稿日期:2 0 2 2-1 0-1 7基金项目:河北省科学院科技计划项目(2 2 A 0 1)作者简介:于 浩(1 9 9 5-),男,河北石家庄人,硕士,助理工程师,研究方向:机电一体化.通信作者:张 震(1 9 8 6-),男,河北石家庄人,硕士,高级工程师,研究方向:机电一体化.文章编号:1 0 0 1-9 3 8 3(2 0 2 3
2、)0 1-0 0 1 9-0 7基于图像语义分割的药用玻璃瓶外轮廓尺寸检测方法研究于 浩,张 震,张 雷,刘 申,赵东哲,张金辉(河北省机电一体化中试基地有限公司,河北石家庄 0 5 0 0 5 1)摘 要:为解决药用玻璃瓶外轮廓在线检测的两大难题,即瓶体透明度高造成光电传感器测量失真,以及高速生产节拍下测量精度稳定性差的问题,本文提出了一种基于图像语义分割的药用玻璃瓶外轮廓尺寸检测方法。首先通过结合P P-L i t e S e g图像语义分割算法与C a n n y边缘检测算法,实现透明玻璃瓶轮廓边缘区域的精准分割,来精确采集玻璃瓶各截面轮廓点云;再利用I C P算法配准点云数据、K d树
3、算法计算瓶体尺寸超差区域,来实现高透药用玻璃瓶高精度在线测量。使用采集数据与标准瓶尺寸进行对比实验,实验结果表明重构轮廓尺寸误差在0.0 5 4 mm以内、扫描速度在1 s以内,能够满足当前生产节拍对检测精度和速度的要求,为高透玻璃瓶在线检测系统提供技术支撑。关键词:图像语义分割;三维轮廓检测;药用玻璃瓶;图像边缘检测;图像深度学习中图分类号:T P 2 7 4 文献标识码:AM e d i c i n a l g l a s s b o t t l e o u t e r c o n t o u r o n-l i n e d e t e c t i o n b a s e d o n i
4、m a g e s e m a n t i c s e g m e n t a t i o nY U H a o,Z H A N G Z h e n,Z H A N G L e i,L I U S h e n,Z H A O D o n g-z h e,Z H A N G J i n-h u i(H e b e i M e c h a t r o n i c s I n t e r m e d i a t e P i l o t P r o d u c t i o n B a s e C o.,L t d.,S h i j i a z h u a n g H e b e i 0 5 0 0 5
5、 1,C h i n a)A b s t r a c t:A i m i n g a t t h e t w o d i f f i c u l t i e s o f o n-l i n e m e a s u r e m e n t o f t h e o u t e r c o n t o u r o f m e d i c i n a l g l a s s b o t t l e,n a m e l y,t h e m e a s u r e m e n t d i s t o r t i o n c a u s e d b y t h e h i g h t r a n s p a
6、 r e n c y o f b o t t l e b o d y,a n d t h e p o o r m e a s u r e m e n t a c c u r a c y a n d s t a b i l i t y u n d e r t h e h i g h s p e e d p r o d u c t i o n r h y t h m,i n t h i s p a p e r,a m e t h o d b a s e d o n i m a g e s e m a n t i c s e g m e n t a t i o n i s p r o p o s e
7、 d t o d e t e c t t h e c o n t o u r s i z e o f g l a s s b o t t l e.F i r s t l y,t h e P P-L i t e S e g i m a g e s e m a n t i c s e g m e n t a t i o n a l g o r i t h m a n d C a n n y e d g e d e t e c t i o n a l g o r i t h m a r e c o m b i n e d t o a c h i e v e t h e p r e c i s e s
8、 e g m e n t a t i o n o f t h e e d g e a r e a o f t h e t r a n s p a r e n t b o t t l e s c o n t o u r,s o a s t o c o l l e c t t h e p o i n t c l o u d o f e a c h s e c t i o n o f t h e b o t t l e s c o n t o u r a c c u r a t e l y.T h e n,t h e I t e r a t i v e C l o s e s t P o i n t
9、 s(I C P)a l g o r i t h m i s u s e d t o r e g i s t e r p o i n t c l o u d d a t a,w h i l e t h e K D T r e e a l g o r i t h m i s u s e d t o c a l c u l a t e t h e s i z e d e v i a t i o n a r e a o f a b o t t l e,i n o r d e r t o a c h i e v e h i g h-p r e c i s i o n o n l i n e m e a
10、 s u r e m e n t o f h i g h-p e r m e a b i l i t y m e d i c i n a l g l a s s b o t t l e s.T h e c o m p a r i s o n e x p e r i m e n t b e t w e e n c o l l e c t e d d a t a a n d s t a n d a r d b o t t l e s i z e s h o w s DOI:10.16191/ki.hbkx.2023.01.007河北省科学院学报2 0 2 3年第4 0卷t h a t t h e
11、s i z e e r r o r o f r e c o n s t r u c t e d p r o f i l e i s w i t h i n 0.0 5 4 mm a n d t h e s c a n n i n g s p e e d i s w i t h i n 1 s,w h i c h c a n m e e t t h e r e q u i r e m e n t o f p r e c i s i o n a n d s p e e d u n d e r t h e c u r r e n t p r o d u c t i o n r h y t h m,a
12、 n d p r o v i d e t e c h n i c a l s u p p o r t f o r t h e o n-l i n e d e t e c t i o n s y s t e m o f h i g h-p e r m e a b i l i t y g l a s s b o t t l e s.K e y w o r d s:I m a g e s e m a n t i c s e g m e n t a t i o n;3 D c o n t o u r d e t e c t i o n;M e d i c i n a l g l a s s b o t
13、 t l e;I m a g e e d g e d e t e c t i o n;I m a g e d e e p l e a r n i n g玻璃制瓶是医药产品中应用最多的包装物,由于医药产品有极强的单位储存计量精准性要求,因此医药用包装物需要具有较高的尺寸精度和尺寸一致性。近些年医药产品在医疗行业中的需求量逐年上升,考验着药用玻璃瓶生产商的生产能力。为了在生产效率提高的同时进一步提升产品质量,开发高效精准的玻璃瓶质量检测系统是必不可少的。目前,图像 深 度 学 习 技 术 在 玻 璃 制 瓶 领 域 上 有 了 很 多 的 应 用。陈 宏 彩 等 人1提 出 了 一 种 基 于YO
14、 L O v 3的玻璃瓶表面缺陷识别方法,实现对玻璃瓶表面缺陷准确高效的识别。Z h o u X等人2提出了一种基于视觉注意模型和小波变换的玻璃瓶底部表面缺陷检测框架,实现了瓶底缺陷的精准识别。林峰等人3将改进的F a s t e r R-C NN深度学习网络技术应用到玻璃瓶瓶身检测任务上,有效地提高了玻璃瓶表面的缺陷检测精度和速度。王一冰4基于图像检测技术设计了一种精油灌装系统,可以根据拍摄的玻璃瓶表面图像信息自动剔除次品。E s h k e v a r i M等人5提出了一种启发式图像分割方法,实现了药用玻璃瓶基本尺寸精确检测。从上述的研究进展可以看出,目前玻璃瓶的表面缺陷检测水平提升显著
15、,在生产线上能够快速准确地剔除缺陷品。但在透明药用玻璃瓶轮廓尺寸检测上,技术研发相对滞后。基于激光三维轮廓扫描方法在有色玻璃瓶上的应用效果较好,但是在高透无色透明的玻璃瓶上应用效果较差。当前采用的接触式检测方法的轮廓细节重构精度较低,在小型玻璃瓶上具有圆角特征的部位无法进行有效检测,另外使用接触式的检测方法,在检测速度和精度上都依赖于仪器操作者的技术水平,因此与生产速度相适配性差,无法实现产品的实时监测。为了解决在透明药用玻璃瓶规格尺寸检测中存在的难点,本文设计了一种基于机器视觉的玻璃瓶轮廓检测方法,通过结合图像语义分割深度学习算法P P-L i t e S e g6与C a n n y7边缘
16、检测算法来实现玻璃瓶外轮廓精确提取与三维重构,根据玻璃瓶的轮廓结构设计相应的点云配准方法,实现玻璃瓶外轮廓尺寸制造偏差的快速检测。1 检测系统设计及算法原理图1 透明玻璃制瓶边界过渡区域影响在玻璃瓶正面拍照时,由于玻璃瓶的透光性从中间到两侧依次衰减,使得正面拍照的图像在两侧贴紧边缘的位置上有一段过渡阴影,常见透明玻璃瓶的过渡阴影如图1所示。由于药用玻璃瓶壁厚很薄使得其过渡阴影带很短,使用基于图像梯度的轮廓提取算法极易将最内侧的阴影边界判定为外轮廓,最终导致轮廓提取出现差错。因此针对玻璃瓶图像外轮廓提取存在的问题,本研究将图像语义分割算法P P-L i t e S e g与传统的边缘提取算法相结合,实现透明药用玻璃瓶轴向截面轮廓的精确提取,再利用各截面上的轮廓数据和空间角度实现玻璃瓶三维轮廓的精确重构。1.1 玻璃瓶截面轮廓采集方法设计本研究将玻璃瓶放置在转台上以恒定角度转动,工业相机对每个旋转角度上的玻璃瓶侧面进行拍照,02第1期于 浩等:基于图像语义分割的药用玻璃瓶外轮廓尺寸检测方法研究图2 检测系统直到玻璃瓶旋转过1 8 0 时停止,图2为检测示意图。通过每个间隔角度的抓拍可以获得
