1、 基于深度学习的指针式仪表识别算法研究*李 佳1*,段祥骏1,李运硕1,何 菊2,冯德志1(1.中国电力科学研究院有限公司,北京1 0 0 1 9 2;2.西北工业大学航天学院,陕西 西安7 1 0 0 7 5)摘 要:目前指针式仪表数据仍然基于模板匹配等传统算法,在信噪比低的情况下识别精度低,因此采用深度学习进行指针的分级定位与识别。一级识别采用S S D算法进行仪表区域定位,计算仪表倾斜角度并修正。二级指针定位使用多方位S S D算法识别指针转动角度并转换量程。使用自建的仪表数据集进行网络训练,指针式仪表检测精度达到8 7%;作为拓展方向,数字式仪表检测精度达8 8%。实验结果表明,该算法
2、稳定性及准确度均高于传统的指针式仪表识别算法。关键词:指针式仪表;识别;深度学习中图分类号:TM 0 8 D O I:1 0.1 9 7 6 8/j.c n k i.d g j s.2 0 2 3.0 2.0 1 1R e s e a r c ho nP o i n t e r I n s t r u m e n tR e c o g n i t i o nA l g o r i t h mB a s e do nD e e pL e a r n i n g*L I J i a1*,DUANX i a n g j u n1,L IY u n s h u o1,HEJ u2,F E N GD e
3、 z h i1(1.C h i n aE l e c t r i cP o w e rR e s e a r c hI n s t i t u t eC o.,L t d.,B e i j i n g1 0 0 1 9 2,C h i n a;2.N o r t h w e s t e r nP o l y t e c h n i c a lU n i v e r s i t yS c h o o l o fA e r o s p a c e,X i a n7 1 0 0 7 5,C h i n a)A b s t r a c t:A tp r e s e n t,t h ei d e n t
4、 i f i c a t i o no fp o i n t e r i n s t r u m e n t s i ss t i l lb a s e do nt r a d i t i o n a la l g o r i t h m ss u c ha st e m p l a t em a t c h i n g,a n dt h e i d e n t i f i c a t i o na c c u r a c y i s l o wi nt h ec a s eo f s t r o n gn o i s e.T h e r e f o r e,d e e p l e a r n
5、 i n g i su s e dt oc a r r yo u th i e r a r c h i c a l p o s i t i o n i n ga n dr e c o g n i t i o no fp o i n t e r s.T h ef i r s t l e v e l i d e n t i f i c a t i o nu s e sS S Da l g o r i t h mt ol o c a t et h e i n s t r u-m e n t a r e a,c a l c u l a t e t h e i n s t r u m e n t i n
6、 c l i n a t i o na n g l ea n dc o r r e c t i t.A m u l t i-d i r e c t i o n a lS S Da l g o r i t h mi su s e dt o i d e n t i f yt h e r o t a t i o na n g l e o f t h e s e c o n d a r yp o i n t e r a n d c o n v e r t t h e r a n g e.T h e s e l f-b u i l tm e t e r d a t a s e t i su s e d
7、f o r n e t w o r k t r a i n i n g,a n dt h ed e t e c t i o na c c u r a c yo f t h ep o i n t e rm e t e r r e a c h e s8 7%.A sa ne x t e n s i o nd i r e c t i o n,t h ed e t e c t i o na c c u r a c yo fd i g i t a li n s t r u m e n t s r e a c h e s 8 8%.E x p e r i m e n t a l r e s u l t s
8、 s h o wt h a t t h e s t a b i l i t ya n da c c u r a c yo f t h e a l g o r i t h ma r eh i g h e r t h a n t h o s eo f t h e t r a d i t i o n a l p o i n t e rm e t e r r e c o g n i t i o na l g o r i t h m.K e yw o r d s:p o i n t e r i n s t r u m e n t;r e c o g n i t i o n;d e e p l e a r
9、 n i n g基金项目:国家电网有限公司总部科技项目“基于机器视觉深度学习的配网工程强化管控技术研究”(编号5 4 0 0-2 0 2 1 1 6 1 4 1 A-0-0-0 0)收稿日期:2 0 2 2-0 5-1 0作者简介:李佳(1 9 9 5-),工学硕士,从事配网数字化信息化、机器视觉、人工智能等研究工作。0引言当前配电站房内各类电表仍使用指针式仪表,仪表结构简单、使用便捷,但若采取人工读数,则计算误差大、工作效率低。使用电力巡检机器人进行仪表的智能化识别与检测,就能极大方便工作人员。图像处理及深度学习算法的发展使得仪表识别更加快速与准确,同时能够减少人力消耗,因此本文进行指针式仪
10、表智能识别算法研究。针对指针式仪表识别精度不高的问题,研究人员从传统仪表检测算法和深度学习仪表检测算法1-3出发提出了不同解决方法。徐发兵等利用改进的E A S T算法和印刷体数字识别模型先对图像中的刻度线处数字进行识别,后根据数字的位置计算并确定指针直线和仪表圆盘的圆心4。该方法对图像质量要求高且识别步骤较多,容易带来较多的系统误差。刘葵等先利用连通域分析、图像阈值分割实现指针分割,再利用最小二乘法实现细化直接提取中轴线的方式识别读数5。这种方法需要人工选取阈值,抗击外界干扰能力差。因此,徐丽等提出了一种基于迭代最大类间方差的算法,这种方法能够良好地应对光照条件、拍摄角度的不同以及表盘中的干
11、扰等影响6,但会由于拍摄角度变换导致的指针阴影而降低读数识别的准确率。针对这一问题,邢浩强等提出通过透视变换消除仪表图像畸变,双边滤波、M S R C R算法增强图像,再通过H o u g h检测仪表的表盘与指针,最终得到仪表的读数7。但这种算法存在一定的漏检情况。计算机视觉的发展为仪表识别提供了良好的理论依据。WAN G等利用F a s t e rR-C NN提取仪表表盘区域后利用h o u g h变换检测指针中心线的位置获取读数8。这种方法虽然可以有效改善背景噪声对仪表检测的干扰,但识别精度不够。Z HAN G等使用了先利用YO L O粗定位,后利63电工技术 人工智能与传感技术 用S S
12、 D精定位的二级定位方法来准确获取目标信息9。这种方法虽然可以准确获取仪表表盘区域但获取仪表读数的准确率不足,即使如此,其二级定位的思想仍值得借鉴。与Z HAN G等不同的是,N I等使用S S D算法和关键点检测得到指针中心点、零点等信息来获取仪表读数1 0,但这种算法流程复杂。为了解决上述问题,本文提出先利用S S D对表盘区域定位,后利用S S D算法解决表盘倾角及指针转角角度变换影响的方法。1仪表区域定位算法分析随着计算机视觉和深度学习技术的发展,基于深度学习的仪表检测识别算法可以有效解决上述传统算法的弊端。对于仪表检测来说,定位仪表和仪表指针位置是至关重要的一步。基于深度学习的目标检
13、测算法根据网络是否提取候选区域分为o n e-s t a g e(单阶段)和t w o-s t a g e(双阶段)两大类。前者将目标检测描述为一个“从粗到细”的过程,首先 由 算 法 生 成 若 干 个 候 选 框,再 通 过 卷 积 神 经 网 络(C o n v o l u t i o n a lN e u r a lN e t w o r k,C N N)1 1对候选框进行分类;而后者更侧重于算法的“一步完成”,直接回归目标的类别概率和位置坐标。单阶段检测算法则以Y O L O1 2系列和S S D1 3算 法 为 代 表,2 0 1 6年 提 出 的S S D(S i n g l e
14、S h o tM u l t i B o xD e t e c t o r)算法为一阶网络,检测速度较快,网络实现简单。结合二级定位思想,本文选用S S D二级定位算法作为表盘检测算法,其流程如图1所示。图1算法流程图2表盘区域一级定位本文采用S S D网络结构定位指针式仪表盘,网络结构如图2所示。网络分类结果为表盘倾斜角度,角度范围为09 0。检测到倾斜角度后将图片旋转,矫正表盘水平位置,后续使用二级检测获取指针角度。图2S S D网络结构S S D网络首先将输入的原始图像按比例缩放至4 1 64 1 6图像输入大小,作为模型的输入;然后采用V G G-1 6作为主干网络(取原始V G G-
15、1 6的C o n v 5_3之 前 的 部分),并将其中的C o n v 4_3层获取的特征作为第一个特征预测层;接着通过叠加不同大小的卷积层来分别获取不同尺度上的特征;最终可得到分别为3 83 85 1 2、1 91 91 0 2 4、1 01 05 1 2、552 5 6、332 5 6、112 5 6的特征预测,构建出图像特征金字塔,如图3所示。如此,可实现在不同尺度上对目标进行预测,特征层从低到高,其感受野由小到大,所具有的语义信息也更加丰富。图3特征金字塔在得到不同尺度的特征图后,S S D通过设置不同尺寸和数量的先验框对目标进行检测。浅层特征图感受野较小,主要用来对小尺寸的目标进
16、行检测,因此生成的先验框较小;高层特征图感受野较大,语义信息更加抽象,主要用来对大尺寸的目标进行检测和分类,因此生成的先验框较大。最后,通过非极大值抑制(NM S)对检测结果进行筛选,获得最终的检测框。S S D一级定位结果如图4所示。图4S S D一级定位结果图3指针角度二级定位通过S S D算法获取指针式仪表表盘部分位置信息并利用O p e n c v库将仪表表盘从背景中裁剪出来。通过对指针式仪表读数进行原理性分析,得出指针式仪表旋转角度与刻度之间的数学关系:v a l u e=a n g l eA/B式中,v a l u e为实际读数;a n g l e为指针转动角度,;A为仪表量程;B为最大量程对应的转动角度,。工程中的指针式仪表一般为方表或者圆表,因此当采用角度对应读数函数关系对读数进行映射时,往往最大量程对应的角度B不可能时时准确并且安装仪表时存在疏失误差及仪表中心线与法线不平行。为此,利用二段阈值的方法对此类随机误差进行修正。角度矫正流程如图5所示,(a1,b1)、(a2,b2)为选取的二段阈值。选取规则为a1、a2为表盘转动的读数,b1、b2为以钟表9点为0时对应a1、
