1、结构光视觉辅助焊接的轨迹识别与控制技术王浩，赵小辉，徐龙哲，蒋豪，刘宇(吉林大学,长春,130025)摘要：对激光多点寻位、焊前轨迹拟合、焊缝实时跟踪的 3 种结构光视觉辅助焊接的轨迹识别与控制技术进行了研究.提出了适用于上述三者的以 CNN 模型、自适应特征提取算法、先验模型、坐标矩阵转换为核心的焊接轨迹识别流程.提出了分别对应上述三者的焊接轨迹控制模型：示教轨迹修正模型、焊前轨迹拟合模型、焊缝跟踪实时纠偏模型.结果表明，激光多点寻位、焊前轨迹拟合模式焊接时，能够在焊前高效地识别出焊接轨迹曲线，焊接轨迹与焊缝中心线基本重合；焊缝实时跟踪模式焊接时，系统能够实时矫正焊枪的偏差.文中提到的焊接轨
2、迹识别流程与轨迹控制模型足以保证结构光视觉辅助焊接的稳定运行.创新点：(1)研发了激光多点寻位，焊前轨迹拟合及焊缝实时跟踪的 3 种智能化焊接模式.(2)设计了结构光视觉辅助焊接的轨迹识别流程与轨迹控制模型.关键词：结构光视觉；轨迹识别与控制；焊接中图分类号：TG409文献标识码：Adoi：10.12073/j.hjxb.202207150020序言示教-再现焊接正向着以“高质量、高效率”为核心的智能化自主化方向快速变革.数据传感必将大规模集成于实际焊接生产中，使焊接机器人具备施焊轨迹自主可控的功能.在焊接轨迹识别传感器中，基于三角成像原理的结构光视觉传感器获取的是焊缝三维坐标信息，能够完成一
3、维、二维、三维的焊接轨迹识别与控制操作，具备柔性高精度焊接能力，是未来发展的重要走向，在焊接工程应用中，结构光视觉辅助焊接的技术模式有 3 种：激光多点寻位、焊前轨迹拟合与焊缝实时跟踪焊接.Zou 等人1-6对结构光视觉辅助焊接的焊缝跟踪图像处理模块提出了能够准确提取焊缝特征点的创新性算法，比如 WLCS、STC、RNN、KCF、SVM、ERFNet 等，这些算法保证了实时跟踪焊接的稳定性.但是，激光多点寻位及焊前轨迹拟合的焊接方式却没有受到系统的研究，在某些焊接工程问题上，这两种技术的重要性不可忽略.文中将对结构光视觉辅助焊接的轨迹识别与控制技术进行细致的分析，提出了分别对应寻位、拟合、跟踪
4、焊接的轨迹识别流程与轨迹控制模型，探究 3 种轨迹识别流程与控制模式的执行效果.1轨迹识别流程焊接轨迹识别传感器如图 1 所示，其中结构光视觉辅助焊接的原理为装置于焊枪前端的传感器扫描接头并根据轨迹识别流程获取焊接点，后将其传输到运动控制模型中，进而完成一系列智能化焊接操作，如图 2 所示.根据图 2，设计的焊接轨迹识别流程如图 3 所示，其中焊前拟合焊接与实时跟踪收稿日期：20220715基金项目：国家自然科学基金(52275338)；吉林省科技厅重点科技研究与发展项目(20210201056GX).获取轨迹纠正轨迹(主动式)轨迹定位/拟合/焊枪位姿规划(被动式)负反馈偏差跟踪(被动式)负反
5、馈偏差跟踪二维传感一维传感一、二、三维传感焊缝实时跟踪焊接激光多点寻位焊接传感器辅助焊接机械式传感器结构光视觉传感器相机传感器(主动式)拍照轨迹定位/拟合(被动式)负反馈电弧跟踪焊前轨迹拟合焊接 图 1 焊接轨迹识别传感器Fig.1 Welding trajectory recognition sensors第44卷第6期2 0 2 3 年 6 月焊 接 学 报TRANSACTIONS OF THE CHINA WELDING INSTITUTIONVol.44(6):50 57June 2023焊接的轨迹识别流程类似，但由于实时跟踪焊接过程中存在不可抗拒的、动态的、不规则的电弧、飞溅、金属烟
6、尘等干扰，其需要更高效、更稳定的轨迹识别算法.文中以焊缝实时跟踪的轨迹识别流程展开研究，其获取的相关算法同样适用于寻位、拟合焊接模式.1.1 CNN 模型为能够从拍摄的激光条纹中实时跟踪、定位、提取感兴趣区域(ROI)，进而提高特征点的提取精度与效率，文中提出了一种卷积神经网络(CNN)模型如图 4 所示.CNN 处理的流程如下.2 592 2 048 3224 224 3224 224 64112 112 12856 56 25628 28 25614 14 5127 7 512输入图像原图像卷积和池化层全连接归一化 图 4 CNN 模型示意图Fig.4 Schematic diagram
7、of CNN model (1)原图像尺寸变换为 224 224.(2)利用 3 3 的卷积核对输入图像进行多次卷积运算，后输出的结果将变为一维向量.(3)Softmax 层通过处理全连接完成对目标区域的识别和定位.研究训练的样本集由 4 134 幅不同干扰程度的激光图像组成，对 472 幅实际焊接图像进行目标跟踪测试，模型预测精度约为 97%，如图 5 所示.ROI 97%ROI 97%(a)强弧光飞溅下图像 ROI提取结果(b)弱弧光飞溅下图像 ROI提取结果 图 5 目标区域识别结果Fig.5 Target area identification results.(a)image ROI
8、extraction results under strong arc splash;(b)image ROI extraction results under weak arcsplash 1.2 自适应特征点提取V 形接头的特征点如图 6 所示，其中 Te_c 是焊缝中心点，也是焊接轨迹识别的目标点.特征点提取之前需要从 ROI 内提取到焊缝激光条纹的中心线，图 7 和图 8 是灰度重心法激光条纹中心线的提取效果.由图 7d 与图 8d 可以看出，提取的中心线能够准确映射出焊缝的空间坐标信息.此外，以条纹中心线像素的列为自变量，像素的行为因变量，自变量与因变量之间存在一一映射的函数关系.T
9、e_lTe_rTe_bTe_ced-led-r 图 6 V 形焊缝特征点Fig.6 The feature points of V-shaped seam 当激光条纹中心线存在跳跃点、孔洞、光点缺失等不连续特征(容易出现在弱电弧飞溅环境中)或凸起、下凹等波动性特征(容易出现在强电弧飞溅环境中)时，以拐点法7、斜率分析法、连通区域法8-9、霍夫直线检测法10-12等为核心的特征点提取方法容易失效.为此本文将提出一种基于行扫描和列扫描的自适应特征提取算法来解决这一问题.自适应特征提取算法的设计思想如图 9 所示，处理流程如下：p_colp_row(1)屏蔽激光中心线上空洞缺陷，之后得到待处理的横坐
10、标集和纵坐标集.XIOIYI图像平面激光器工件激光平面ZBYBXBOB焊枪YHXHZHOH 图 2 结构光视觉辅助焊接的原理Fig.2 Principle of welding assisted by structured lightvision CNN模型坐标矩阵转换提取到焊缝特征点示教轨迹修正模型焊缝跟踪实时纠偏模型焊前轨迹拟合模型自适应特征提取先验模型图像采集 图 3 结构光视觉辅助焊接的轨迹识别流程Fig.3 Trajectory recognition process of weldingassisted by structured light vision第6期王浩，等：结构光视觉
11、辅助焊接的轨迹识别与控制技术51p_cola p_rowap_cp_r(2)移除跳跃点.如果点(，)满足式(1)，该点为跳跃点并去除，否则，该点将作为下一个待确定点的比较点.通过式(1)，得到新的横坐标集合，纵坐标集合.p=|p_rowa p_rowb|p|(p_cola p_colb)k/2|=pa(1)k/2p_colb p_rowbp_cola p_rowa式中：与 分别是坡口面斜率与修正系数；(，)为(，)前最近的非跳跃点；a 与 b 是整数，且 ab.(3)分别对 的前 n1与后 n4个点进行最小二v=f1(u)v=f4(u)乘法拟合，获取直线与.v(4)行扫描将中心线谷底的行数据进
12、行隔离.p_coln1 p_rown1p_colnn4 p_rownn4v=f2(u)v=f3(u)(5)从点(，)向谷底扫描，从谷底向点(，)扫描，对满足式(2)的点进行拟合，分别得到直线与.|a p_cs p_rs+b|a2+1=d da(2)daf2f1式中：为 10；计算时，a 和 b 分别为的斜率和(a)原图像(b)中值滤波后的大津阈值分割(c)形态学处理(d)提取条纹中心线 图 7 强弧光飞溅下激光条纹中心线提取效果Fig.7 Laser stripe centerline extraction effect understrong arc splash.(a)initial im
13、age;(b)otsuthreshold segmentation after median filtering;(c)morphological processing;(d)extracting stripecenterline(a)原图像(b)中值滤波后的大津阈值分割(c)形态学处理(d)提取条纹中心线 图 8 弱弧光飞溅下激光条纹中心线提取效果Fig.8 Laser stripe centerline extraction effect underweak arc splash.(a)initial image;(b)otsuthreshold segmentation after me
14、dian filtering;(c)morphological processing;(d)extracting stripecenterline oColRow1(n1)(n).4(n4)23d dad dap pav=f1(u)v=f2(u)v=f3(u)v=f4(u)Te_lTe_bTe_rTe_c孤立移除跳跃点v 图 9 自适应特征提取算法Fig.9 Adaptive feature extraction algorithm.52焊 接 学 报第44卷f3f4截距，计算 时，a 和 b 分别为 的斜率和截距.(6)依据式(3)计算 Te_c 的坐标值.|uTe_c=uTe_l+uTe_
15、r4+uTe_b2vTe_c=vTe_l+vTe_r2(3)式中：Te_l、Te_r、Te_b 坐标由上述直线求交所得.自适应特征提取算法的处理效果如图 10 和图 11 所示，可以看出该算法对电弧飞溅具有较强的抗干扰能力，对不同特性的条纹具备较好的适应性，提取的 Te_c 能够真实地代表焊缝中心的实际位置；即使激光中心线存在孔洞、凸起、凹点和跳跃点等缺陷或具备波动特性时，该算法也具有较好的特征点提取效果.1.3 先验模型强烈的弧光与飞溅会使激光条纹中心线偏离理论位置，但条纹的角度和宽度在相邻帧中几乎没有变化，即根据上下文信息能够对下一帧图像的噪声进行有效过滤，从而可以实现 Te_c 点精度的
16、进一步提升.每个条带的坡度和宽度的确定公式被定义为一种先验模型(式(4)，只保留满足该模型的点，先验模型的作用过程如图 12 和图 13 所示.图 12 弱弧光飞溅下先验模型Fig.12 The prior model under weak arc splash 图 13 强弧光飞溅下先验模型Fig.13 The prior model under strong arc splash Stripe i:|width=yminymax=minmax|(4)iwidth式中：是条纹图像的帧序；为条纹的宽度范围；为条纹的角度范围.得出强弧光飞溅和弱弧光飞溅下的公式为Stripe i:|Width=f(xi1)20f(xi1)+20=i14i1+4|(5)波动曲线波动曲线凹点 图 10 强弧光飞溅下特征点提取的结果Fig.10 Results of the feature point extraction understrong arc splash 凸起孔洞和跳跃点 图 11 弱弧光飞溅下特征点提取的结果Fig.11 Results of the feature point extracti