1、电气与自动化苏欣，等基于多视角模板匹配的零件图像检索方法第一作者简介:苏欣(1989)，男，四川自贡人，工程师，硕士，研究方向为电子产品整机工艺设计。DOI:1019344/j cnki issn16715276202301054基于多视角模板匹配的零件图像检索方法苏欣1，赖复尧1，余容平2，李柏林2，熊鹰2(1 西南电子技术研究所，四川 成都 610036;2 西南交通大学 机械工程学院，四川 成都 610031)摘要:针对工业场景下零件的自动化生产需求，提出一种基于多视角模板匹配的零件图像检索方法。提取零件的尺寸信息对零件进行粗分类;对尺寸上难以区分的零件进行动态分块，将分块后的图像进行哈
2、希“指纹”提取，用于计算其相似度，并找出最相似的 3 个零件。提取上述3 个零件侧面信息的哈希“指纹”并计算相似度，将相似度最大值所对应的类别标签作为最终检索结果。实验结果表明:该方法精度高达 9816%，更符合零件的实际生产应用。关键词:图像检索;模板匹配;零件;多视角中图分类号:TP39141文献标志码:B文章编号:1671-5276(2023)01-0222-04Workpiece Image etrieval Method Based on Multiview Template MatchingSU Xin1，LAI Fuyao1，YU ongping2，LI Bailin2，XION
3、G Ying2(1 Southwest Institute of Electronic Technology，Chengdu 610036，China;2 School of Mechanical Engineering，Southwest Jiaotong University，Chengdu 610031，China)Abstract:In light of the demand of automatic production of parts in industrial scene，a part image retrieval method based on multiview temp
4、late matching is proposed The dimension information of the top view of the parts is extracted for rough clarification of theparts The parts that are difficult to be distinguished in size are dynamically partitioned，and the hash fingerprint of the partitionedimage is applied to calculate the similari
5、ty and find out the three most similar parts The side information of the above three parts isextracted for hash fingerprint and similarity calculation，and the category label corresponding to the maximum similarity is taken asthe final retrieval result The experimental results show that the accuracy
6、of the proposed method is as high as 9816%，which is morein line with the practical production application of partsKeywords:image retrieval;template matching;spare parts;multiview0引言近年来，随着我国工业化水平和加工技术的不断提升，工业生产正朝着自动化和智能化方向发展。精密零件种类繁多，表面纹理复杂，许多零件在同一视角上存在的差异极小，甚至有的零件仅在侧面存在细微差异。现有的零件图像分类和检索方法在精度和时间复杂度上已
7、无法满足精密零件的自动化生产需求。作为工业图像处理技术的一部分，对零件图像检索问题的研究不仅能够促进工业图像处理技术的进步，还能促进我国工业生产的自动化、智能化和无人化的发展，为中国制造 2025 添砖加瓦。图像检索1 技术是图像处理技术的重要组成部分，国内外学者均对其进行了相关研究。孙君顶等2 提出了一种基于颜色和形状特征的彩色图像检索方法，用于图像特征提取及图像检索;彭晏飞等3 提出了结合深度学习与相关反馈的遥感图像检索方法用于遥感图像的检索;王洪涛等4 提出了一种基于不变矩图像匹配的零件种类判别算法用于汽车零部件装配生产线的零件类别判别;王红涛等5 提出了一种零件图像识别的边缘匹配方法用
8、于零件的检测;王彦等6 提出了一种基于边缘特征的零件图像匹配算法用于解决亮度不均衡等复杂环境下的零件图像匹配问题。上述方法虽然取得了较好的实验效果，但对于图像领域差异较大或针对的机械零件而言上述方法存在种类单一、结构简单和类间差异较大等特点，无法满足零件的自动化生产需求。为了提高零件图像的检索精度和检索速度，实现智能化流水线生产，本文研究了深度学习算法、深度迁移学习算法及传统模板匹配算法在零件数据集上的性能差异，提出了一种基于多视角模板匹配的零件图像检索方法(hashcosine similarity，HCS)。该方法首先提取零件顶面视图的尺寸信息，对零件进行粗分类;然后对尺寸上难以区分的零件
9、进行动态分块，提取分块后图像的哈希“指纹”用于相似度计算，并找出最相似的 3 个零件;最后提取上述 3个零件的侧面信息并提取其哈希“指纹”用于相似度计算，将相似度最大值所对应的类别标签作为最终检索结果。1多视角模板匹配零件图像检索方法HCS 的算法流程图如图 1 所示。首先将零件图像进行预处理，将零件区域从顶面视图中分割出来并进行视角222电气与自动化苏欣，等基于多视角模板匹配的零件图像检索方法矫正(仿射变换);然后计算测试图与模板库图中零件的长宽比和面积，并将模板库图像中面积和长宽比与测试图相同或难以区分的零件筛选出来;其次将筛选出来的零件根据其尺寸大小进行动态分块，并获取其哈希“指纹”用于
10、相似度计算，将相似度最高的 3 个零件筛选出来;最后从上述 3 个零件的侧面视图中提取侧面信息并获取其哈希“指纹”用于相似度计算，将相似度最大值所对应的类别标签作为最终检索结果。图 1算法流程图11零件图像预处理由于零件存在差异小、纹理复杂、大小不一、形状多变、摆放角度多样、光照干扰等特点，为了减少各种因素对检索结果造成影响，将采集到的零件图像进行预处理，以提高零件图像检索算法的鲁棒性和泛化能力。零件采图装置如图 2 所示。1零件;2侧面相机;3侧面相机;4顶面相机;5侧面相机。图 2采图装置示意图预处理过程需要将零件区域从顶面视图(图 2 中侧面相机 4 获得的图像)中分割出来，并进行仿射变
11、换和降噪处理(图 3)。首先获取零件的最小外接矩，得到其 4 个顶点的坐标;然后通过仿射变换将外接矩矫正到垂直方向并将其从原图中分割出来;最后对分割出来的零件图像和侧面视图(图 2 中侧面相机 2、侧面相机 3、侧面相机 5 拍摄的图像)进行二值化和滤波处理，以降低噪声干扰。图 3图像预处理12零件图像分块及侧面信息提取为了充分利用零件纹理上的细微差别，防止细微差别因噪声干扰被掩盖掉，根据零件大小自适应地对零件进行分块(零件尺寸主要集中在 100100mm500500mm 范围内)。当零件尺寸在 100100mm300300mm 范围内时，将预处理后的零件图像等分成 6 个子块(图 4(a)并
12、将每个子块重置为 100100 像素大小的子图，当零件尺寸在 300300mm500500mm 范围内时，将预处理后的零件图像等分成 9 个子块(图 4(b)并将每个子块重置为300300 像素大小的子图。为了有效利用零件的侧面信息，需要将零件的侧面信息从侧面视图中分割出来。先将零件的侧面部分从侧面视图(图 2 中侧面相机 2、侧面相机 3、侧面相机 5 获得的图像)中分割出来(图 5)，然后将分割出来的图像重置大小为 100300 像素用于相似度计算。图 4顶面视图分块处理图 5侧面视图信息提取13零件图像的匹配度计算感知哈希算法7(perceptual hash algorithm)，它为
13、图像生成一个图像“指纹”(fingerprint)，用于图像相似度计算。感知哈希算法首先将灰度处理后的图像做离散余弦变换(discrete cosine transform，DCT)，获得矩阵 F(U，V)，其定义如式 1 所示;然后对变换后的矩阵 F(U，V)求均值，其定义如式 3 所示;再将矩阵 F(U，V)各元素 F(u，v)与均值 进行比较，大于等于均值的元素位记为 1，否则记为 0。这样就获得了图像的哈希“指纹”F(U，V)，其定义如式 4 所示。F(u，v)=2MNM1x=0N1y=0f(x，y)C(u)C(v)cos(2x+1)u2N cos(2y+1)v2N(1)322电气与自
14、动化苏欣，等基于多视角模板匹配的零件图像检索方法C(u)=1M，u=02M，u0(2)式中:f(x，y)是一个 MN 的图像灰度值矩阵;x，u=0，1，2，M1;y，v=0，1，2，N1;C(u)和 C(v)的定义如式(2)所示;F(u，v)表示经计算后得到的变换矩阵 F(U，V)中(u，v)处的元素，F(U，V)的维度为 MN。=1MNM1u=0N1v=0F(u，v)(3)式中:F(u，v)表示变换矩阵 F(U，V)中(u，v)处的元素;u=0，1，2，M1;v=0，1，2，N1。F(u，v)=1，F(u，v)0，F(u，v)(4)式中:F(u，v)表示哈希“指纹”F(U，V)中(u，v)处
15、的值;F(u，v)表示转换矩阵 F(U，V)中(u，v)处的值;u=0，1，2，M1;v=0，1，2，N1。余弦相似度8(cosine similarity)又称余弦相似性，是通过计算两个向量夹角的余弦值来评估它们之间的相似度，其定义如式(5)所示。cos(a，b)=ni=1ai bini=1(ai)2ni=1(bi)2(5)式中:a 和 b 为向量;n 表示 a 和 b 的维度;ai和 bi分别表示向量 a 和向量 b 第 i 个维度上的分量。计算相似度时，首先将动态分块后的图像进行离散余弦变换 DCT，并生成图像的哈希“指纹”F f1，f2，fn(n=子块个数);然后计算测试图 x 第 i
16、 个子块的哈希“指纹”fi与模板库图像 X X1，X2，Xm(m=类别数)中第 j 个类别图像 Xj对应位置子块 Xji的哈希“指纹”fji间的余弦相似度 Sji，并将 x 与 Xj各子块间相似度的平均值Sj作为整图间的相似度，其定义如式(6)所示，得到测试图 x 与模板库图 X X1，X2，Xm(m=类别数)间的相似度 S S1，S2，Sm;最后提取 S 中相似度最高的 3个零件的侧面信息进行相似度计算。Sj=1ni=ni=1Sji(6)式中:Sji表示测试图 x 第 i 个子块与模板库 X 第 j 类图像Xj的第 i 个子块间的相似度;n 表示子块个数。计算侧面信息相似度时，首先获取测试图 x 侧面信息x x1，x2，x3与上述 3 个零件侧面信息 X X1，X2，X3(图 2 中侧面相机 2、侧面相机 3、侧面相机 5 获得的信息)的哈希“指纹”F f1，f2，f3，其定义如式(1)式(4)所示;然后计算测试图 x 的侧面信息 xi(i=1，2，3)与模板库图对应视图下的侧面信息 Xji(j=1，2，3)间的相似度，其定义如式(5)所示;并将 x 与 Xj侧面视图间的平均相似度作
