基于L1/L2极限学习机的熔池熔透状态识别

0 序 言

焊接过程中熔池形态变化受高热能、焊接材料、保护气体等多方面因素影响的复杂、非线性的物理过程. 熔池形态与焊接质量好坏、焊缝外观形状及缺陷等密切相关.如何利用视觉传感技术正面观察熔池形态，了解焊接过程中熔化金属的动态变化行为，是当前智能焊接领域中的研究热点之一[1-3].

神经网络凭借其较好的鲁棒性和容错能力成为熔池形态分析方法中的一个热点研究方向. 文献[4]利用BP神经网络建立熔池面积、熔宽等几何特征与熔透状态之间的关系模型，并获得了较好的熔透状态识别效果. 文献[5]结合遗传算法和BP神经网络建立熔池形态与焊缝形状之间的关系模型，利用焊接过程中的熔池形态成功预测焊缝的高度和宽度. 文献[6]利用Kohonen神经网络来识别GMAW焊接过程中干扰种类. 传统神经网络在分析焊接图像时也有一些不足，如对训练数据量需求较大、网络收敛速度慢、容易过学习等，使其无法满足智能焊接实时性、准确性的要求，限制了其在工业中的进一步应用.

极限学习机(ELM)是近年来兴起的一种生物学习网络[7-8]，在利用ELM进行熔池形态分析时，不需要建立对象的精确数学模型，也不需要深入了解对象的特性，仅通过对有限样本进行训练和学习就可以完成对特定对象的识别，具有计算简单、学习速度快的特点.

传统ELM框架随机设定输入和隐层参数，仅采用伪逆算法估计输出权重，存在容易过学习、算法泛化能力低的问题. 文中结合熔池图像特征，提出一种基于L1/L2范数正则化约束的极限学习机算法(L1/L2-ELM)来对熔池的形态(全熔透、未熔透、过熔透)进行识别. 首先利用主成分分析(PCA)对原始数据进行降维，把降维后的数据送入网络；其次在传统ELM基础上，在估计输出权重时引入L1范数约束来控制整个模型的复杂度，提高模型泛化能力. 另外试验中发现熔池图像中单一的像素点并没有实际研究意义，有意义的熔池图像特征都以“团块”形式出现，通过引入L2范数约束来对ELM的输出权重进行平滑，以获取熔池图像中的“团块”特征. 试验结果表明，文中所提出的L1/L2-ELM算法训练时间短、泛化能力强，对全熔透、未熔透、过熔透三种状态的识别准确率取得了较好的效果.

1 熔池图像处理

1.1 图像采集

所采用的试验装置如图1所示，主要包括控制系统、图像处理系统、视觉传感系统、焊枪、行走机构、焊接工作台. 图像的采集工作通过视觉传感系统完成. 熔透点通过人工加大电流方式来设置(熔透电流阈值由焊接板材和板厚决定[9])，焊接完成后再将熔池图像与熔透过程对应起来.

图1 试验装置示意图
Fig.1 Diagram of experimental device

试验系统中焊机为山大奥太NBC-350逆变式CO2气体保护焊机，焊丝直径为1.2 mm，焊丝伸出长度为10 mm，焊丝材料为ER50-6，焊件采用厚度1.5 mm的镀锌板，焊缝间隙小于0.1 mm.焊接方式为平板堆焊，通过大量试焊，确定焊接电流为100～140 A.试验条件如表1所示.

表1 固定速度焊接试验条件
Table 1 Condition of welding experiments with fixed speed

焊接速度v/(mm·s–1)CO2保护气流量q/(L·min–1)图像采集速率f/s 焊接方式

将熔透模式定义为三种状态：全熔透、未熔透、过熔透. 如图2所示，全熔透是指在焊接过程中，焊接母材已经完全熔化，焊缝下方小范围被熔化，焊接母材的底部已经被熔透；未熔透是指在焊接过程中，焊接母材的熔化范围没有到达焊缝底部，焊缝底部没有被熔透；过熔透是指焊接母材的熔化范围超过了焊接底部，焊缝底部绝大部分被熔化，甚至出现熔化范围超过了焊缝实际宽度的结果.

图2 三种熔透状态
Fig.2 Three different penetration modes

为了实际对比上述三种状态的不同，如图3所示，在不同焊接条件下选取了三组熔透状态区别较为明显的焊件，通过对比焊缝正(背)部不同的熔透状态说明三种不同的熔透定义.

图3 不同熔透状态所对应的实物焊缝正 (背)面形貌
Fig.3 Front and back view of welding seam under different penetration modes

1.2 基于 PCA 的熔池图像特征提取

熔池图像的原始数据集可以表示为，其中N表示熔池图像样本数，L表示熔池图像的大小.

在信息化日渐加深的今天，课题上直接传授知识的“满堂灌”已经不能起到很好的效果，学员们思维活跃，并且注意力更难以长时间的集中，需要使用学员关心的案例来激发他们的学习兴趣，提高学员课堂参与度，来达到更好的教学效果。

建立样本的协方差矩阵，即

式中：为样本相关矩阵，为与样本相关矩阵中特征值对应的特征向量矩阵.

(1)对照组右侧胫骨前肌和股外侧肌IEMG大于左侧，实验组右侧股内侧肌和股外侧肌IEMG大于左侧、左侧臀大肌IEMG大于右侧。这可能是由于对照组和实验组对虚步的掌握程度不同造成的。

定义主元方差贡献率，即

计算前个主元的方差贡献率，选取使贡献率的主元为最终主成分，并利用所选去的主成分特征值对应的特征向量构建变换矩阵，即

选择2017年10月至2018年6月在南京医科大学附属无锡第二医院眼科检查确诊的NAION患者18例（18眼）作为NAION组。其中男8例，女10例。年龄38～78（60.5±10.6）岁，病程3.5～8.0（4.8±1.8）个月。

新的样本空间可以通过式子来进行重构.如图4所示，重构后的熔池图像可以有效减少冗余特征(如飞溅等噪点)等的影响，提升获取熔池相关主要特征的稳定度.

图4 PCA 结果对比图
Fig.4 Comparison of feature selection under PCA based method

2 基于L1/L2-ELM的熔透识别模型

对于个经过PCA特征提取后的熔池图像训隐层节点的ELM数学模型可以表示为

式中： w j=[wj1,wj2,,···,wjk,]为输入节点同第 j个隐层节点之间的连接权重； β j 为 j个隐层节点输出权重；bj 为第 j 个隐层节点的偏置； g (·)为激活函数.借鉴类脑思维中随机性思想[10]，ELM算法对于 w j 和 b j均随机给定，并在整个训练过程中保持不变，大大节省了训练时间，提高了算法训练速率.输出权重 β j是ELM中唯一需要解析确定的参数.用矩阵形式重新表示式(4)，可以得到式(5)，即

式中： β =[β,β,···,β]T ， t =[t,t,···,t]T，12T12N

目前药材市场上销售的雷公藤是否去皮难以判别，特别在大规模生产中，性状鉴别存在一定的片面性，无法有效地控制工艺水准。甚至有文献研究显示，基于雷公藤皮部中的雷公藤甲素等成分含量更高[8]，为提高雷公藤多苷提取率，存在着部分厂商有意选取去皮不完全的雷公藤进行投料的情况。这一做法隐蔽性强，虽可提高有效成分的提取率，但存在过高产生未知副作用的风险，给后期监管带来困难。在当前强调安全用药与疗效并重的背景下，如何在投料前快速判别雷公藤去皮减毒工艺的水平，有效监管违规投料行为，值得行业关注和研究。

在传统ELM算法中，输出权重 β通过求解最小二乘[11]问题得到

式中： Φ †为伪逆，由于最小二乘算法实现简单，使得ELM算法在计算效率方面明显优于传统BP算法.然而在实际数据分析中，发现当 存在不适定现象时，输出权重幅值会急剧增大，导致过拟合现象，极大影响ELM算法的模型准确性，降低ELM网络的泛化能力.

为了解决上述问题，在式(5)中加入L1范数约束，一方面凭借L1范数的稀疏能力可以使模型变得简单，另一方面L1范数约束可以提高算法的泛化能力，得到式(7)，即

近期， 有单位和读者向本刊反映， 有中介机构或网站宣称代理《草原与草坪》征集稿件， 并向投稿者收取费用，承诺可以在本刊发表文章，此举已对本刊声誉造成不良影响。对此， 本刊声明如下：

试验中发现焊接过程中，熔池图像的变化常以“团块”的形式出现，即熔池图像中单一的像素点并没有实际研究意义，只有以“团块形式”出现的图像特征才可以作为熔池形态判断的有效依据.结合这一先验信息，进一步在式(6)中加入L2范数约束，使输出权重幅值在保持稀疏特性(L1范数约束)的同时，避免出现“过稀疏”的情况，即保持“团块”特性，这样更有利于在ELM网络中学习到符合熔池图像实际情况的有效特征，可以得到式(8)，即

我与刘镇长赶到海绵制品厂时，省、县领导正在刘国良的陪同下参观海绵制品生产线，亲自了解聚氨酯发泡成海绵制品以及削切海绵的流程。一个像水池的模具混合着各种化学原料，几分钟就像发面团发泡成型，然后削切成不同规格的成品。刘厂长详细汇报了企业产、供、销的经营情况后，刘镇长又将全镇的工业规模向省、县领导作了全面的汇报。张处长在充分肯定我镇乡镇企业成绩的同时，对海绵制品厂这匹黑马非常满意，除了当场答应调拨相关计划物资外，还表态力争促成与东风汽车零部件的配套以及全省家具行业的协作，让乡镇企业既可以“背靠大树好乘凉”，也能够“抱团取暖”。

为了方便求解公式(8)，定义如下矩阵，即

再者，食品行业有时需要运输海鲜、鱼、肉等需要保鲜的东西，冬天还好，但是在夏天，天气炎热使很多物资都浪费在了路上，损失的也不是小数目。这些问题一直到现在都是无法彻底解决的，公司的管理层对此也是非常地头大，虽然物资运输慢是可以克服的，但是想要运输成批量的保鲜食品的难度还是非常大的。

令则式(8)可以写成如下形式，即

由于为一预先设定的常数，式(9)进一步展开可以得到

式(10)对 求偏导，并令导数为零，可以得到

根据饲养管理情况，临床症状和病理解剖学变化（心肌弛缓、肌肉萎缩、大脑典型坏死病灶等）及临床症状（多发性神经炎、角弓反张等）可初步诊断。

综上所述，基于L1/L2-ELM算法的步骤可以概括为以下三步.

(1)随机产生隐层节点参数 和.

(2)计算隐层输出矩阵 .

(3)根据式(11)和式(9)计算输出权重.

L1/L2-ELM网络训练时无需调整输入权值和隐层参数，训练过程一次完成，速度得到极大提升，且泛化能力强.

3 试验结果分析

如表2所示，试验共采集463张熔池形态样本，其中全熔透状态样本150张，未熔透状态样本128张，过熔透状态样本185张. 随机从每类样本中抽取30张作为测试样本，其余样本作为训练样本，进行4重交叉验证[12]. 结果如图5所示，三种方法取得的全熔透、未熔透、过熔透状态平均识别准确率并不相同. 熔透识别的平均准确率最高的是L1/L2-ELM，ELM次之，效果最差的是BP. 此外，从方差波动程度可以看出，L1/L2-ELM获得了较为稳定的识别效果.

表2 数据描述
Table 2 Description of data set

全熔透 120 30 4次未熔透 98 30 4次过熔透 155 30 4次

图4 熔池熔透状态识别准确率对比图
Fig.5 Comparison of classification accuracy for different penetration modes

表3和图6分别对比了三个训练算法得到的熔池熔透状态识别模型的规模以及在隐层节点数目变化情况下对三种熔透状态识别的平均准确率，可以发现每种训练算法下识别效果最好的模型其隐层节点数并不相同，可以看出ELM和L1/L2-ELM算法在隐层节点数上比较相近，均有效简化了网络的规模，训练时间也大大减少. 此外，与ELM算法相比，L1/L2-ELM算法提高了对全熔透、过熔透、未熔透状态的识别准确率，取得了较好的识别效果.

上述建立的制造活动含义，表示制造活动执行所必须的资源、工序和任务的基本需求，而约束条件与上述3个对象的逻辑关系可以形式化描述为

表3 网络模型规模比较
Table 3 Comparison of scale of different neural network

L1/L2-ELM 60 2.3 ELM 50 1.2 BP 130 10

图6 隐层节点个数设置
Fig.6 Parameter setting of the number of hidden nodes

4 结 论

(1)与传统BP算法相比，文中提出的L1/L2-ELM算法训练时间更短，且识别准确率高.

(2)与传统ELM算法相比，文中所提出的方法泛化能力强，识别准确率高.

(3)在利用L1/L2-ELM分析熔池图像过程中，通过在ELM算法中引入L1范数约束来简化模型，提高模型的泛化能力，引入L2范数约束来获取熔池图像中的“团块”特性.

创新成为时下消费者关注的重点，新兴显示技术OLED、量子点、激光电视等高端产品市场进一步提升，但受限于良品率、成本、产量等诸多问题，在价格方面三大阵营依旧无法得到改善。伴随厂商对于显示技术的提升，与消费力增长环境，高端电视成为各大厂家未来发展主力。

(4)L1/L2-ELM算法不仅网络结构简单、训练时间短、泛化能力强，更适合对熔池图像进行分析，对于熔透状态识别的准确率也较高.

参考文献：

[1]杨嘉佳, 王克鸿, 吴统立, 等. 基于熔池视觉特征的铝合金双丝焊熔透识别[J]. 焊接学报, 2017, 38(3): 49 - 52.Yang Jiajia, Wang Kehong, Wu Tongli et al. Welding penetration recognition in aluminum alloy tandem arc welding based on visual characters of weld pool[J]. Transactions of the China Welding Institution, 2017, 38(3): 49 - 52.

[2]丁度坤, 高向东, 赵传敏, 等. BP神经网络在焊缝位置识别中的应用[J]. 焊接技术, 2007, 36(3): 15 - 17.Ding Dukun, Gao Xiangdong, Zhao Chuanmin, et al. Application of the BP neural network in seam position recognition[J]. Welding Technology, 2007, 36(3): 15 - 17.

[3]陈华斌, 孔 萌, 吕 娜, 等. 视觉传感技术在机器人智能化焊接中的研究现状[J]. 电焊机, 2017, 47(3): 1 - 16.Chen Huabin, Kong Meng, Lü Na, et al. Status and development of vision sensors on intelligentized robotic welding technologies[J].Electric Welding Machine, 2017, 47(3): 1 - 16.

[4]林 俊, 高向东. 电弧焊熔池表征与熔透状态映射研究[J]. 焊接, 2016(10): 34 - 37.Lin Jun, Gao Xiangdong. Mapping relationship between weld pool surface feature and weld penetration during arc welding[J].Welding & Joining, 2016(10): 34 - 37.

[5]张艳喜. 大功率盘型激光焊熔池形态在线识别及焊缝成形预测模型[D].广州, 广东工业大学, 2014.

[6]武传松, Polte T, Rehfeldt D. GMAW焊接过程监测Kohonen神经网络系统[J]. 机械工程学报, 2002, 38(1): 131 - 134.Wu Chuansong, Polte T, Rehfeldt D. Kohonen network system for process monitoring in gas metal arc welding[J]. Chinese Journal of Mechanical Engineering, 2002, 38(1): 131 - 134.

[7]刘学艺, 李 平, 郜传厚. 极限学习机的快速留一交叉验证算法[J]. 上海交通大学学报, 2011, 45(8): 1140 - 1145.Liu Xueyi, LI Ping, Hao Chuanhou. Fast leave-one-out cross-validation algorithm for extreme learning machine[J]. Journal of Shanghai Jiaotong University, 2011, 45(8): 1140 - 1145.

[8]袁玉龙. 基于极限学习机的选择性集成学习算法研究[D].镇江,江苏科技大学, 2015.

[9]杨明轩, 从保强, 齐铂金, 等. 脉冲电流参数对奥氏体不锈钢电弧行为的影响[J]. 焊接学报, 2012, 33(10): 67 - 70.Yang Mingxuan, Cong Baoqiang, Qi Bojin, et al. Influence of pulse current parameters on arc behavior by austenite stainless steel[J]. Transactions of the China Welding Institution, 2012,33(10): 67 - 70.

[10]刘茂林. 一个大脑学习与记忆的现实性神经网络模型[J]. 重庆大学学报:自然科学版, 2002, 25(12): 110 - 113.Liu Maolin. A realistic neural network on cerebral learningmemory[J]. Journal of Chongqing University (Natural Science Edition), 2002, 25(12): 110 - 113.

[11]田 垅, 刘宗田. 最小二乘法分段直线拟合[J]. 计算机科学,2012, 39(6A): 482 - 484.Tian Long, Liu Zongtian. Least-squares method piecewise linear fitting[J]. Computer Science, 2012, 39(6A): 482 - 484.

[12]王 凯, 侯著荣, 王聪丽. 基于交叉验证SVM的网络入侵检测[J].测试技术学报, 2010, 24(5): 419 - 423.Wang Kai, Hou Zhurong, Wang Congli. Intrusion detection based on cross-validation SVM[J]. Journal of Test and Measurement Technology, 2010, 24(5): 419 - 423.