1、激光一电弧复合焊专题机械制造文摘焊接分册激光-MIG复合焊根部驼峰缺陷预测刘秀航，叶广文，黄宇辉，张艳喜，冯桑，高向东（广东工业大学，广东省焊接工程技术研究中心，广东广州510 0 0 6)摘要：激光-熔化极惰性气体（Meltinertgas,MIG）复合焊过程中容易出现根部驼峰缺陷，为了实现焊接过程根部驼峰缺陷的同步预测，研究根部驼峰缺陷预测的算法并对其预测结果进行分析。采用高速摄像机进行复合焊接过程的实时视觉传感采集，提取焊接过程的正面熔池和匙孔的时序特征信息，并对这些特征信号进行小波包分解（Wavelet packetdecompo-sition，WPD）与重构。应用激光扫描仪获得背部焊
2、缝余高，以此作为驼峰状态标记的依据。再通过长短期记忆（Longshort-term memory,LSTM)神经网络对焊接过程中根部驼峰状态进行预测。结果表明，WPD-LSTM算法对根部驼峰预测的准确率达到9 7.8 5%。相比其它算法，基于焊接过程正面视觉传感时序特征信息的WPD-LSTM算法预测准确率更高，且预测结果具有较高的连续性，有利于实现对焊接过程根部驼峰缺陷的同步检测与控制。关键词：根部驼峰；视觉检测；长短期记忆神经网络；小波包分解中图分类号：TG409Root hump defect prediction for laser-MIG hybrid weldingLiu Xiuha
3、ng,Ye Guangwen,Huang Yuhui,Zhang Yanxi,Feng Sang,Gao Xiangdong(Guangdong Provincial Welding Engineering Technology Research Center,GuangdongUniversity of Technology,Guangzhou 510006,Guangdong,China)Abstract:The root hump defect is easy to appear in the laser-MIG composite welding process.In order to
4、 real-ize the simultaneous prediction of the root hump defect in the welding process,this paper studies the algorithmof root hump defect prediction and analyzes the prediction results of different algorithm.The real-time visualsensing information of composite welding process is carried out by a high
5、-speed camera,the time series charac-teristic information of the front weld pool and the keyhole in the welding process is extracted,and the character-istics signals are decomposed and reconstructed by wavelet packet decomposition(WPD).Then,the residualheight of the back weld is obtained by a laser
6、scanner,which is used as the basis for marking the hump status.Long short-term memory(LSTM)neural network was used to predict the status of root hump in the weldingprocess.Experimental results show that the accuracy of WPD-LSTM algorithm for root hump prediction is97.85%.Compared with other algorith
7、ms,the prediction accuracy of WPD-LSTM algorithm based on the tem-poral feature information of the front visual sensing in the welding process is higher,and the prediction resultshave higher continuity,which is conducive to realize the synchronous detection and control of root hump defectsin welding
8、 process.Key words:root hump;visual inspection;long short-term memory neural networks;wavelet packet decomposi-tion*源文献：刘秀航，叶广文，黄宇辉，等激光-MIG复合焊根部驼峰缺陷预测 J焊接学报，2 0 2 2，43（12）：47-52，9 9.基金项目：国家自然科学基金资助项目（52 2 7 5317）；广州市科技计划资助项目（2 0 2 0 0 2 0 2 0 0 6 8，2 0 2 0 0 2 0 30 147）182023 年第3期机械制造文摘0前言激光焊和激光-电弧复
9、合焊两种焊接方式易出现根部驼峰缺陷，国内外学者对激光焊接根部驼峰及熔池和匙孔的状态进行了大量研究。激光-电弧复合焊过程中，电弧热源的加入有可能是导致根部驼峰出现概率提高的原因 。Jan2通过焊接过程高速摄像机实时检测来阐述了驼峰的形成是匙孔内部压力、熔池流动和熔体表面张力综合作用的结果，研究了应对驼峰缺陷的工艺解决方案。驼峰是由于受力不稳定所导致的熔融金属从上到下转移和溢出，驼峰的出现会改变焊缝正面熔池和匙孔的状态。经过多次试验得出，当激光功率不足以完全熔透焊缝时，熔池内部流动熔融金属从焊根部溢出，此时出现根部驼峰缺陷，因此驼峰的形成与焊接热输人不足时出现的临界熔透状态有关。在焊接熔透状态检测
10、方面，国内外学者进行了许多深入的研究。焊接的熔透状态可以通过背部焊缝的熔宽来表征，提取焊接过程的正面视觉特征，通过模式识别和神经网络技术对焊接熔透状态进行分类的研究已有许多成果。高向东等人 3 提出了用于熔透状态预测的模糊聚类方法。采用可视范围为9 6 0 9 9 0 nm的近红外滤光片进行焊接过程的图像采集，并提取焊接过程匙孔和熔池的相关特征对熔透与未熔透两种状态进行分类。杨嘉佳等人 4 利用近红外视觉传感方法获取双丝焊过程熔池图像，提取熔池几何特征参数输人到反向传播（Backpropagation，B P）神经网络进行熔透识别。冯宝等人 5 利用L1/L2极限学习机(L1/L2-Extre
11、me LearningMachine,L1/L2-ELM）算法来训练电弧焊熔透识别模型，与传统ELM算法相比，具有更强的泛化能力和更高的准确率。刘天元等人 针对激光焊接过程的熔池匙孔图像，采用卷积神经网络对熔池和匙孔图像特征进行提取，再将特征输入LSTM神经网络，对激光焊接过程的熔透状态进行识别。陈子琴等人 7 通过高速摄像机分别拍摄激光焊接正面和侧面的焊接过程，提取金属蒸气、飞溅和熔池等特征信息，再利用神经网络对背部熔宽预测。利用焊接过程状态的传感监测可以识别焊接缺陷，对焊接过程稳定性进行评价。高速焊接过程图像中的飞溅、金属蒸气、电弧光和底面熔池流动信息能有效反映焊接成形和焊接过程状态稳定性
12、 8-9 。通过多传感监测平台对激光焊接过程的特征信息进行提取，焊接分册激光一电弧复合焊专题利用相关分类算法和模型，对焊接无缺陷情况和不同的焊接缺陷的情况进行准确分类 10-1。在焊接领域中有学者采集焊件正面及背面图像，并将经验模态分解处理后的特征作为预测模型输入实现焊缝根部驼峰缺陷检测 12 。但该方法需要采集焊件背部信息，不适用无法观察焊件背部的场合。而所提出的方法仅需要采集焊接表面图像特征，通过WPD对图像的时序特征分解和重构，使输入维度得以扩增，从而防止模型欠拟合。以焊接过程熔池和匙孔的时序特征信息作为LSTM神经网络模型输人输出，可准确预测激光-MIG复合焊根部驼峰缺陷。1激光-MI
13、G复合焊特征信息采集1.1试验系统激光-MIG复合焊过程中的检测系统，如图1所示。光纤激光器的激光波长为1.0 7 m，最大输出功率为4kW。高速摄像机采集图像的像索为6 40 48 0 pixel,采样顿率为2 0 0 0 顿/s，采用9 50 nm窄带近红外滤光片滤除焊接过程中的干扰，提取熔池和匙孔的特征信息。高速摄像机距离焊件表面30 0 mm，与焊接工作台成30的夹角。保护气成分为9 8%Ar+2%CO2，进行焊后熔池保护。选用的焊件材质为SUS304不锈钢，尺寸为200mm100mm3mm,焊丝为l mmER308不锈钢焊丝。采用电弧辅助激光焊接的形式，激光在前，MIG焊枪在后，具体
14、焊接工艺参数如表1所示。此外，采用装配有激光扫描仪的关节臂测量仪对焊缝进行扫描,采集焊缝的成形轮廓，并对焊缝轮廓曲线进行相应的结构光图像处理以获得背部焊缝的余高。IPGYLS-4000激光器图像信号处理与分析系统图1激光-MIG复合焊接过程检测系统表1焊接工艺参数激光功率焊接电流电弧电压P/kWI/A1.4801.2图像分割与特征提取由于复合焊过程热输入较大，产生大量金属蒸气，2023 年第 3 期19激光头MIG.弧焊机高速摄像机30U/V18焊接速度/(m:min-l)1.05激光一电弧复合焊专题加之MIG焊枪同轴吹出的混合保护气体导致焊接过程熔融金属被蒸发产生的大量金属蒸气覆盖在熔池和匙
15、孔区域的正上方,对熔池和匙孔区域形成遮挡，因此同步高速摄像机难以直接集成或置于焊件上方对焊接过程中的熔池和匙孔进行拍摄,而是采用侧拍的方式。对复合焊过程图像进行处理以及特征提取，如图2所示。其中熔池区域主要采用了自动标定的分水岭算法来进行分割并特征提取，而匙孔部分则主要采用阈值分割的方法来进行图像分割并提取特征。最终得到熔池和匙孔的区域图像，取熔池区域横向最大长度为熔池长度W，纵向最大宽度为熔池宽度Ww，熔池长度和宽度之比为熔池长宽比WR，熔池和匙孔区域像素点之和分别为熔池面积WA和匙孔面积KA,所提取的时序特征曲线如图3所示。4oxId:o/y机械制造文摘熔池焊接方向WAWRWwW图2激光-
16、MIG复合焊熔池和匙孔的图像处理及特征提取3xId,01/M22焊接分册熔滴匙孔KA0020004 0006 0008 000 10 000 12 000 14 000顿数f/frame(a)匙孔面积KA500exId/M0oxId/M502000400060008000100001200014000顿数f/frame(b)熔池面积WA002 0004 0006 0008 00010 00012 000 14 000400066 0008 000 10 000 12 000 14 000数frame(e)熔池长宽比WR图3激光-MIG复合焊过程熔池和匙孔的时序特征图4为带有根部驼峰缺陷的焊缝成
17、形。对于出现根部驼峰的位置，对应的正面焊缝成形呈现宽度收缩和表面下凹的形态，这与焊接过程熔融金属的向下转移有关。焊缝的正面成形状态出现周期性的变化，根正面20mm反面图4不锈钢激光-MIG复合焊的焊缝正面及背面形貌202023 年第3 期002.0004 0006 000800010 00012 00014 000顿数f/frame帧数f/frame(c)熔池长度WL(d)熔池宽度Ww201002000部驼峰缺陷也相应周期性出现，焊接过程中熔池和匙孔在稳定与失稳两种状态下周期性地切换。2?小波包时序特征信号处理焊接过程中熔池和匙孔的时序特征富含焊接过程状态信息。为扩增预测模型的输人维度，解决欠
18、拟合问题,提高预测模型的准确率，通过小波包分解对焊接过程时序特征进行分解和重构，实现预测模型输人维度的扩增，从而解决预测模型欠拟合问题,并提机械制造文摘高预测模型的准确率。小波包分解通过使代价函数最小化，得出对原始信号最优的分解路径，并以此进行分解13小波包分解与重构算法设g（t）U，gi(t)=Z,diu(2it-l)小波包分解是可以通过(di+1（t)|求1djz2（t）和(d;2n+1(t)1获得。(2)(3)式中：j为尺度系数;l为位置系数；n为采样顿率；dj2(t)和（djzn+1（t）为下一层小波分解的结果；(d;+1（t)为上层分解结果;和b为正交共轭低通和高通滤波器。40302
19、002000400060008000100001200014000数fiframe(a)Pa.0)0焊接分册ak-21djj+1,n激光一电弧复合焊专题小波包的重构过程是通过(d;2（t)|求解(d;+1（t)和1d,2n+1(t)/。(4)式中:h和g为小波包重构滤波器组。由式（1）式(1)（4)可知，小波包变换将原始信号分解成高频部分和低频部分。以熔池宽度的时序特征为例，选取Dau-bechiesl（d b l）作为小波基函数，采用香农熵进行3层小波包分解。最终分解出P(3.0),P(3.1),P(3,2),P(3.3)，P(3.4),P(3.5),P(36),P(3,7)共8 个小波包节
20、点,对这些小波包节点的进行重构，如图5所示。这些重构节点的信号包含了熔池宽度特征的众多有效信息。小波包节点经过重构后的数据为熔池宽度特征的低频主体部分，其与熔池宽度变化的大致趋势一致。将分解后的信号输人神经网络中进行相应的预测和分类。02000400060008000100001200014000顿数 frame(b)Po.1)10dj2n+11-1002000400060008000100001200014000顿数f/frame(c)Pa.2)1002000-400060008000100001200014000顿数fiframe(d)Pe.a)1010020004000600080001
21、00001200014000顿数 f/frame(e)Po.4)10-1002 000400060008000100001200014 000顿数f/frame(g)Pa.)图5熔池宽度特征小波包分解与重构结果征信息,对具有时序联系的数据进行学习和预测14。3根部驼峰缺陷预测3.1长短期记忆神经网络循环神经网络能够联系和储存上下时刻输入的特-1002000400060008000100001200014000顿数f/frame(0)Pao.)100-1002000400060008000100001200014000顿数fiframe(h)P(a.)LSTM神经网络是循环神经网络的一种,同样具
22、有时序结构,LSTM神经网络解决了经典RNN反向传播过程中容易出现梯度消失和梯度爆炸的问题,其神经元结2023 年第3 期2 1激光一电弧复合焊专题构如图6 所示。LSTM神经网络是在RNN的基础上在神经元结构中加入记忆单元和调节门构成，包括输入门、输出门和遗忘门15-16 OJ.tanhWWh-1xhi-1Xx,为当前状态下数据的输入,C,-1,ht-1分别表示上一状态的长时记忆和短时记忆特征。遗忘门可对当前时刻的输入进行有选择地遗忘，可以清除无效信息对神经元状态的影响，其计算公式17 1为fi=oW(ht-1,xi)+bf式中：为激活函数Sigmoid;W，和b,为输人门的加权和偏置,输入
23、门的作用是对当前时刻的输人数据进行有选择的输入，它决定了神经元细胞状态中需要更新的信息，具体计算式为it=oW;(ht-1,xt)+bilC,=tanhWe(ht-1,xt)+be式中：W.,W。和b;,b。为遗忘门的加权和偏置。神经元细胞状态的更新是通过结合之前细胞状态经过、遗忘门的选择结果和通过输人门的所需要更新的新的信息来实现,即C,=fiCi-1+itC,输出门是用来控制神经元的输出，并将输出数据分别传输到下一层的神经元和同层的下一神经元中，Ot=oWo(ht-1,xt)+bo(9)ht=0;tanhC,(10)式中：W。和b。为输出门的加权和偏置。上述公式中的输入门、输出门和遗忘门中
24、的参数W,W。,W,和B:,B。，B,可以通过学习来不断更新。通过图像分割算法提取的熔池和匙孔时序特征信息存在一定的噪声，会影响实际的预测效果。通过门222023年第3期机械制造文摘结构,LSTM神经网络的神经元可对焊接过程熔池和匙孔的时序特征信息有选择地判断是进行传递或是将其清除，把这些焊接过程的特征数据储存在记忆单元中以保留到焊接过程的下一时序,有利于降低噪声对根部驼峰缺陷预测的干扰。tanh3.2预测试验设计及结果分析0通过提取熔池和匙孔时序特征预测背面焊缝的高度，进而识别焊缝根部驼峰缺陷。首先，对背部焊缝成WW。图6 LSTM神经网络结构焊接分册形进行标定，将背部焊缝余高于1mm部分视
25、为根部驼峰缺陷区域，标记为状态2,若背部焊缝余高低于或等于1mm则表明未出现根部驼峰缺陷，标记为状态1。然后，采用LSTM神经网络以焊缝正面的视觉传感采集的时序特征对焊缝根部的驼峰状态进行实时预测。其中,神经网络模型的5个输入特征分别为熔池长度WL、熔池宽度Ww、熔池长宽比WR、熔池面积W和匙孔面积KA。LST M 神经网络模型中隐藏层神经元个数为200个，全连接层设置为50 个神经元，学习率设置为0.005,随机失活（dropout）值是0.7。训练的周期设置为30 0 0。采用Adam算法来进行梯度下降优化。提取(5)出连续140 0 0 帧图像，其中连续的12 0 0 0 帧作为预测的训
26、练集，剩余的连续的2 0 0 0 顿作为测试集，采用训练集数据按时序依次输入模型进行训练，训练完成后将测试集时序特征也按时序输入到训练好模型中，得到根部驼峰状态的预测结果，将其与标记的结果进行(6)对比，如图7 所示。表2 为采用不同预测算法进行根部(7)驼峰状态预测的准确率对比。从表2 可知，经过小波包对正面视觉提取的特征进行分解与重构后,再输入到LSTM神经网络进行预测的准确率最高，达到9 7.8 5%，而直接将提取的时序特征用于LSTM神经网络的方式准确率为8 6.2 5%，相较(8)WPD-LSTM算法稍低。通过对比预测结果和准确率发现，得益于LSTM神经网络对时序特征信息的记忆和遗忘
27、上面存在的优势,LSTM与WPD-LSTM预测算法的预测结果如图7 c和图7 d所示,相对BP神经网络算法和SVM支持向量机不仅在预测准确性上存在优势,在预测的连续性方面相对后两者也存在明显优势18-19。经过以上分析得出，对激光-MIG复合焊进行正面的视觉采集,并将提取到的特征进行小波包分解并重构，然后将重构后的特征向量作为长短期记忆神经网络的输入进行根部驼峰缺陷的预测。此方法的预测准确率较高，能够满足驼峰缺陷预测的要求。机械制造文摘21-02-1-010210图7采用不同预测算法的根部驼峰缺陷预测结果对比表2采用不同预测算法的根部驼峰缺陷预测准确率算法WPD-LSTMLSTMSVMBP焊接
28、分册+预测结果标记结果H+5001 000数frame(a)BP+预测结果标记结果HH5001000数fiframe(b)SVM+预测结果标记结果5001000顿数f/frame(c)LSTM+预测结果标记结果5001000顿数fiframe(d)WPD-LSTM准确率a(%)97.8586.2582.8063.85激光一电弧复合焊专题4结论(1)提出了一种利用焊接过程正面视觉图像中的熔池和匙孔时序特征信息来预测根部驼峰缺陷的方法，建立了基于焊接过程时序特征信息的根部驼峰缺陷预测模型。首先采集焊接过程图像，通过图15002 000150020001500200015002.000像分割提取出焊
29、接过程熔池和匙孔的时序特征，对提取的时序特征进行小波包分解与重构后再输入LSTM神经网络预测模型,对根部驼峰缺陷状态进行预测识别。(2)WPD-LSTM算法对背部驼峰缺陷的预测效果较好，准确率达到9 7.8 5%。相比未利用时序信息的支持向量机和BP神经网络分类算法,其预测的准确率和连续性都更具有优势。参考文献1 Blecher J J,Palmer T A,Debroy T.Mitigation of root de-fect in laser and hybrid laser-arc welding J.Welding Jour-nal,2015,94:73-82.2Jan F.Facto
30、rs affecting weld root morphology in laser key-hole weldingJ.Optics and Lasers in Engineering,2018,101:89-98.3高向东，梁剑斌，刘桂谦，等大功率光纤激光焊熔透状态模糊聚类识别方法J焊接学报，2 0 17，38（5）：22-25.4 杨嘉佳，王克鸿，吴统立，等基于熔池视觉特征的铝合金双丝焊熔透识别J焊接学报，2 0 17，38（3）：49-52.5 冯宝，覃科，蒋志勇基于L1/L2极限学习机的熔池熔透状态识别J焊接学报，2 0 18，39（9)：31-35.6刘天元，鲍劲松，汪俊亮，等融合
31、时序信息的激光焊接熔透状态识别方法J中国激光，2 0 2 1，48（6：2 2 8-238.7陈子琴，高向东，王琳大功率盘形激光焊焊缝背面宽度预测J光学精密工程，2 0 17，2 5（9）：2 52 4-2531.8Chang Y F,Lei Z,Wang X Y,et al.Characteristic of la-ser-MIG hybrid welding with filling additional cold wire foraluminum alloyJ.China Welding,2018,27(3):35-41.9Gao X D,Zhang Y X.Monitoring of
32、welding status by mol-ten pool morphology during high-power disk laser weldingJ.Optik-International Journal for Light and Electron Op-tics,2015,126(19):1797-1802.2023 年第 3 期2 3激光一电弧复合焊专题10 Zhang Y X,Han S W,Cheon J,et al.Effect of joint gap onbead formation in laser butt welding of stainless steel J
33、.Journal of Materials Processing Technology,2017,249:274-284.11Wang T,Gao X D,Katayama S,et al.Study of dynamicfeatures of surface plasma in high-power disk laser weldingJ.Plasma Science and Technology,2012,14(3):245-251.12 Fan X A,Gao X D,Zhang Y X,et al.Monitoring of 304austenitic stainless-steel
34、laser-MIG hybrid welding processbased on EMD-SVMJ.Journal of Manufacturing Proces-ses,2022,73:736-741.13 王艺蒙，李蔚，韩纪龙，等基于小波包变换码的新型无源光网络上行信号复用和传输方法J中国激光，2014,41(6):0605001.14周旭峰，王醒策，武仲科，等.基于组合RNN网络的EMG信号手势识别J光学精密工程，2 0 2 0，2 8（2）：424-442.15李清亮，蔡凯旋，耿庆田，等极限梯度提升和长短期记忆网络相融合的土壤温度预测J光学精密工程，2020,28(10):2337-2
35、348.16冯泽斌，周翊，江锐，等门控循环网络辨识准分子激光器能量模型J中国激光，2 0 2 1，48（9）：34-43.机械制造文摘17 Liu TY,Bao J S,Wang J L,et al.A hybrid CNN-LSTMalgorithm for online defect recognition of CO,welding J.Sensors,2018,18(12):4369.18You D Y,Gao X D,Katayama S.Multisensor fusion systemfor monitoring high-power disk laser welding usi
36、ng supportvector machine J.IEEE Transactions on Industrial Infor-matics,2014,10(2):1285-1295.19 2Zhang Y X,Gao X D,Katayama S.Weld appearance pre-diction with BP neural network improved by genetic algo-rithm during disk laser weldingJ.Journal of Manufactur-ing Systems,2015,34:53-59刘秀航简介：硕士；主要从事焊接自动化
37、研究；。高向东简介：通信作者，博士，教授，博士研究生导师;。焊接分册上接第17 页10 Han Tao,Zhang Hongjie,Wu Qian,et al.Numerical simu-lation of 80 t e m p e r a t u r e f ie ld d is t r ib u t io n o f t h ic k p la t emulti-pass welding with SYSWELD J.China Welding,2018,27(1):20-25.11 Wang T,Gao X D,Katayama S,et al.Study of dynamicfeat
38、ures of surface plasma in high-power disk laser weldingJ.Plasma Science and Technology,2012,14(3):245-251.12王勇，王引真，张德勤材料冶金学与成型工艺M.东营：石油大学出版社，2 0 0 5.13 Hamada M.Control of strength and toughness at the heat af-fected zoneJ.Welding International,2003,17(4):265270.14 滕彬，李小宇，雷振，等低合金高强钢激光-电弧复合热源焊接冷裂纹敏感性
39、分析J焊接学报，2 0 10，31(11):61-64.15王振波，何耀洋，颜军，等焊接钢卯连接装配式混凝土柱抗震性能分析J南京工业大学学报（自然科242023年第3期学版),2 0 2 2，44(2):18 7-19 7.16伏玮，马韩韩，孔令瑞，等氢对不同回火脆态下2.2 5Cr-1Mo-0.25V钢母材及焊缝韧脆转变温度的影响J.南京工业大学学报（自然科学版），2 0 2 1，43（6）：7 55765.17 鲍亮亮，潘春宇，刘福建，等低合金高强钢激光电弧复合焊热模拟热影响区组织与冲击韧性研究J焊接学报,2 0 2 2，43(5):9 0-9 7.鲍亮亮简介：博士；主要从事高效高质量焊接技术研究；ba-oliangfighting .
