异型工件全局逼近NURBS曲线焊接轨迹生成的研究

张 铁 周仁义 邹焱飚

(华南理工大学 机械与汽车工程学院，广州 510640)

摘要 单件小批量工件的自动化焊接中，焊接轨迹的生成过程操作复杂，为此以焊缝在平面内的焊接工件为研究对象，研发了一种异型工件自动焊接装置，提出了一种基于机器视觉的异型工件焊接轨迹在线生成的方法。通过图像识别并提取出异型工件外形轮廓，将最小二乘算法应用于NURBS 曲线插补，实现了最小二乘NURBS 曲线全局逼近拟合，在线生成工件轮廓的焊接运动轨迹。结果表明该算法具有较高的精度和效率，能快速在线生成各种工件外形轮廓的平滑焊接轨迹，避免了焊接过程中的抖动问题，保证了焊接质量。

关键词： 机器视觉 图像识别 曲线拟合

0 序 言

自动焊接技术在工业及制造领域均得到广泛的应用和提高，市场上也出现了很多针对某一产品的自动焊接装置。这些自动焊接装置工作稳定，生产效率高，能够适应恶劣的生产环境，但是这些自动焊接装置一般只针对特定的焊接工件，采用示教再现[1-3]的方式进行生产，缺乏对焊接过程中出现的参数改变和不确定扰动的自适应能力[4]。为了提高自动焊接装置的自适应能力，越来越多的自动焊接装置会使用视觉检测技术，实现焊缝跟踪。但对于上一工序导致的外形轮廓变形的工件，焊缝跟踪系统调整焊接轨迹的作用有限；对于单件产品或者外形轮廓差异较大的一组工件，自动焊接装置需重新手动调整示教轨迹，焊缝跟踪系统已经无法起到应有作用。

异型工件的焊接轨迹的生成是自动焊接中的难点：上一工序造成的外形轮廓热变形严重；焊接工件放置的位置偏差较大。当前自动焊接装置生成焊接轨迹的方法包括：模糊PID视觉控制、双CCD传感器路径检测法、激光焊实时跟踪法、模板匹配和灰度匹配等。如Hongbo等人[4]运用模糊PID控制实现了直线焊缝的实时视觉控制；王军波等人[5]建立了基于双CCD传感器的焊缝路径检测系统，其可以适用于曲线曲面的焊接；Xing等人[6]采用图像处理数控卡实现实时焊缝纠偏的焊缝跟踪系统。上述方法大都只适应于一种特定焊接轨迹的工件，对于热变形严重的工件焊接轨迹的生成作用有限。李琳等人[7]基于几何形状的金字塔分层模板匹配技术，计算工件的偏移量和旋转量从而校正示教轨迹。Zhu等人[8]直接取焊缝起始区域为模板，通过传统的灰度匹配方法，实现近距离识别。模板匹配技术和灰度匹配的方法都只能校正工件的定位误差，对于上一工序导致的工件外形轮廓热变形无法起到校正作用。

复杂异型工件外形轮廓提取是生成平滑焊接轨迹的前提，文献[9-10]提出了几种基于视觉的工件外形轮廓提取的方法。曲线拟合是生成平滑焊接轨迹的必要步骤，顾天奇等人[11]基于移动最小二乘法提出了一种新的封闭离散点拟合方法，该方法利用移动最小二乘法基于点的拟合原理，在离散点之间定义拟合点，划分支持域半径，实现了支持域有序的划分方式；基于封闭离散点的几何特征，提出一种新的权值确定方法。Lavery等人[12]提出了一种多尺度样条拟合点的方法。

焊接轨迹的在线生成和焊接轨迹的平滑性问题是解决异型工件焊接的关键，针对上述问题提出了基于机器视觉的异型工件外形轮廓焊接轨迹在线生成算法，主要包括工件外形轮廓的在线提取和平滑焊接轨迹的生成。工件外形轮廓的在线提取是在Halcon中运用分离、腐蚀、提取骨架、去噪等算法对工件外形轮廓特征进行处理，提取出工件外形轮廓的数据点。为生成较为合理的焊接轨迹，用NURBS最小二乘全局逼近拟合算法对焊接点进行平滑性处理，以便于自动焊接装置焊枪末端运动轨迹的规划。

1 系统构成及基本原理

图1为单件小批量焊接的工件，其外形焊接轮廓较为复杂。现有运用示教再现方法的自动焊接装置示教编程比较复杂，且为减少工件焊接过程中出现大的应力变形，一般在前工序中采用人工点焊完成工件的定位，这将引起定位误差和工件外形轮廓的变形，导致其焊接轨迹不可预测，传统的示教再现方法不再适用，焊缝跟踪的方法作用也十分有限。

图1 焊接工件

针对焊接轨迹在平面内的特点，为了解决上述文中所提到的自动焊接装置对于外形轮廓热变形严重、单件产品或者外形轮廓差异较大的一组工件无法实现有效自动焊接的问题，设计了一种根据工件外形轮廓在线生成平滑焊接轨迹的异型工件自动焊接装置。

异型工件自动焊接系统主要由工件装夹系统、运动控制系统、机器视觉检测系统三部分组成。工件装夹系统通过电磁阀的开闭来控制7个气缸的左右、上下、前后、紧松的配合运动，实现工件的自动装夹。

为保证平面轮廓焊接的完整性，运动部分设计为X/Y轴控制焊枪的平面运动、旋转轴控制工件旋转，为方便运动系统的控制和视觉检测系统轮廓提取算法的运行，在此选用含有运动控制卡的工控机作为控制器。

为解决视觉检测系统与运动控制系统的干涉问题，将视觉检测系统设计在驱动气缸上，置于旋转轴上方。放置工件后，控制器控制驱动气缸使视觉检测系统移动到工件上方，进行图像获取，并将数据传输给控制器进行外形轮廓的提取，随后驱动气缸复位，避免与运动控制系统干涉。

异型工件自动焊接装置如图2所示，视觉检测系统通过以太网口与工控机通信，相机获取工件图像之后，对其进行分离、腐蚀、提取骨架处理等操作提取外形轮廓，并将获得的数据点进行NURBS最小二乘全局逼近拟合，从而获得焊接轨迹；运动控制系统通过通讯线与工控机进行数据的传输与读取，X轴和Y轴控制焊枪在焊接轨迹平面运动，旋转轴控制焊接工件的旋转；三轴配合运动，以实现焊枪的精确轨迹运动。

图2 异型工件自动焊接系统

2 轮廓提取及相机标定

为生成每个工件唯一的焊接轨迹，需要在线提取焊接工件的外形轮廓，并将获得的数据点由图像坐标转换为物理坐标，即相机标定。

2.1 轮廓提取

相机获取的图像包含了很多非加工工件的信息，包括工件安装装置、焊接转台等，将运用Halcon算子对图像进行分离、腐蚀、提取骨架处理[13]，将与焊接轨迹无关的上述噪声区域剔除，从而提取出焊接工件的外形轮廓，并为NURBS曲线拟合提供数据点。

图像区域的分离包括图像平滑和动态阈值处理的算法。因为原始图像中存在暗孔和裂缝，故需要做平滑处理；图像中含有较多的非工件轮廓图像，采用动态阈值进行处理，以达到分离不同区域的目的。

噪声的去除是通过设定面积、宽度、高度的上下阈值来去除大部分的噪声，但仍然存在少许飞溅噪声。

为了进一步剔除飞溅噪声，设定XLD(亚像素精度图像)的长度值来得到最终的目标轮廓。用获取数据点算子提取出亚像素精度下整条轮廓曲线的数据点的X/Y坐标，从而得到工件最终的外形轮廓。

2.2 相机参数标定

相机提取出亚像素精度下整条轮廓曲线的数据点的X/Y坐标是以像素为单位的图像坐标，需要通过相机参数标定将其转化为物理坐标。

在坐标系中，原点定义在摄像机光轴与图像平面的交点，设该点坐标为，每一个像素在X轴与Y轴方向上的物理尺寸为dx,dy，则图像中任意一个像素在两个坐标系下的坐标有如下关系[16]：

(1)

其中，kx=，ky=。 U,V为相机像素坐标系下工件坐标;x1,y1为笛卡尔坐标系下工件的坐标；f为焦距;Z1为镜头到表面的高度;dx,dy为非线性畸变值;U0,V0为初始值。Halcon软件自带标定功能，运用自标定功能即可得到相机的内外参数：f,dx,dy,U0,V0。

得到相机内外参数之后，运用式(1)将像素坐标转化为笛卡尔坐标系下坐标x1,y1，从而可以得出工件的实际轮廓大小，但是获得的图像轮廓不可避免的拥有坏点、尖点等，并不能直接作为焊接轨迹，需要对其进行平滑处理。

3 NURBS曲线拟合算法

NURBS曲线拟合已经成为了最常用的拟合方法。由文献[14]可知，K次NURBS曲线的x,y坐标值C(u)可以表示如下：

C(u)=,0≤u≤1

(2)

基函数未变，故只需要对数据点进行参数化、求解节点矢量和控制点就可确定NURBS曲线。

3.1 参数化

经过图像预处理提取出若干数据点，将其x,y坐标值设为{Qk},k=0,1,…,n，它通常有三种选择参数值的方法：均匀参数化、弦长参数化和向心参数化[17]。由于弦长参数化方法使每个节点区间长度与对应曲线上的两点之间的弦长对应起来，能够如实反映型值点按弦长的分布情况，故在此采用弦长参数化。令d为总弦长

(3)

令

(4)

由式(4)可知，迭代n次便可以求出各数据点{Qk},k=0,1,…,n的参数值

3.2 节点矢量的求解

节点矢量也是数据全局逼近的一个必要条件，节点的配置应该反映的分布。由式(3)可得出d是一个正实数。在此共需要n+p+2个节点，因此有n-p个内节点和n-p+1个内部节点区间。然后按式(5)方式定义内节点

(5)

其中,i=int(jd);α=jd-i(j=1,2,…,n-p);i=int(jd)表示小于或等于jd的最大整数。式(5)可求出所有的节点，由所有节点的集合称为节点矢量。

3.3 控制点的求解

经过3.1和3.2的求解，可得节点矢量U和各数据点的参数值只需求解控制点Pi便可拟合出NURBS曲线。

最小二乘曲线逼近是全局逼近中比较合理的一种方法，它能够剔除一些远离目标曲线的数据点的影响，故在此通过建立并求解线性最小二乘问题来求解未知控制点。

设非有理曲线表达式为

(6)

其中，Q0=C(0);Qm=C(1)。f是关于n-1个变量P1,…,Pn-1的标量值函数如式(7)所示：

(7)

由微分知识，若目标函数f关于n-1个未知控制点P的偏导都等于零，则f最小。目标函数f的第个偏导为

(8)

式(8)是一个控制点P1,…,Pn-1为未知量的线性方程。令=1,2,…,n-1，则得到n-1个含未知量和n-1个方程的线性方程组

(NTN)P=R

(9)

式(8)中，有一个系数矩阵，两个右端项(由R中个元素的x,y坐标组成的列向量Rx,Ry)分别对应于两组未知量(由P中各控制点的x,y坐标组成的列向量Px,Py)。运用3.1和3.2所计算出的节点矢量U和各数据点的参数值便可求出控制点P。

至此，全局逼近所需要的条件P,ωi,K和U已经全部求解，故能够拟合出NURBS曲线。

4 异型工件轮廓提取精度及拟合算法的试验验证

4.1 相机参数标定试验

相机标定是进行检测机器视觉测量系统提取图像轮廓精度的试验前提，相机参数标定即求解式(1)中未知量，经测量，图2中Z1=116 mm。将36 mm×36 mm的陶瓷标定板置于相机下方，拍摄50幅带有标定板的图片，根据上文2.2中所述方法对相机进行标定，标定结果：f=0.005 2 mm;dx=2.199 9×10-3 mm;dy=2.200 0×10-3 mm;U0=1 322.289 2;V0=9 785 154。

4.2 机器视觉测量系统提取图像轮廓的精度

试验平台如图2所示，在进行检测机器视觉测量系统提取图像轮廓的精度的试验时，考虑到工件通用的是由圆弧和直线拟合而成，故设计试验工件，以便获得准确的试验数据。试验工件理论外形轮廓两端分别为半径13 mm和5 mm的圆弧，其圆心之间距离为106 mm，两圆弧通过切线连接其圆弧半径和圆弧中心距离精度控制在±0.05 mm范围内。

运用外形轮廓提取算法提取出试验工件的外形轮廓，将标定结果和相机获取的数据点{Qk},k=0,1,…,n像素坐标代入式(1)，可求得{Qk},k=0,1,…,n笛卡尔坐标系下坐标xk，yk。根据试验数据点和理论数据点用MatLab绘制试验工件的实际轮廓与理论轮廓，如图3所示。

图3 试验轮廓与理论轮廓

为进一步得到精确的试验结果，以理论轮廓为标准，将试验数据点到理论轮廓的距离作为误差值，运用程序对所有数据点进行误差分析，并将结果用MatLab绘制出来，可得出误差曲线图如图4所示。

由误差曲线图结果可知：实际轮廓与理论轮廓的误差较小，都在0.3～0.8 mm区间内，在编号第900～1 000,4 900～100数据点之间有大的突变，其余数据点误差较为平稳；经计算，平均误差为0.559 mm。

图4 误差曲线

4.3 NURBS曲线全局逼近拟合

设定面积上阈值S0和下阈值S1；宽度下阈值W0和上阈值W1；高度下阈值h0和上阈值h1，图像预处理结果如图5所示。

图5 图像预处理

由图5可知，运用分离、腐蚀、提取骨架、去噪等算法对图像进行预处理之后，可以得到复杂异型工件的外形轮廓，但是从图5f可以看出，外形轮廓仍然有一些坏点和尖点，需要用NURBS曲线拟合算法拟合异型工件，拟合轮廓效果如图6所示，图6a为曲线拟合整体效果图，为更加清晰的表达拟合效果，图6a中1，2，3处放大，6b～6d为局部轮廓拟合效果图。

由图6可知，全局逼近拟合算法能够拟合出平滑的NURBS曲线，能够避免图像轮廓的坏点和尖点，从而使焊接轨迹平滑。

为验证NURBS曲线拟合算法的稳定性，在相同的试验环境下获取工件的轮廓图像10幅，编号1～10。以获取编号为1的图像拟合后的NURBS曲线为参考标准，将编号2～9图像拟合后的NURBS曲线上的数据点以每5个点为一组，分成若干组，将每组数据点到参考曲线的距离的平均值作为误差值，对算法进行稳定性误差分析，最大误差为0.889 8 mm，最小误差为0.386 mm，平均误差为0.604 0 mm，此误差包含工件加工误差和图像提取误差，由此可知NURBS曲线拟合算法能够有效拟合出工件稳定的外形轮廓，有效的避免了焊接中的抖动问题。根据焊接试验可知，焊缝效果较好，由于文章篇幅所限，焊接过程不再赘述。

图6 拟合轮廓效果图

5 结 论

为解决单件小批量工件的自动化焊接中轨迹的自动生成问题，以焊接工件焊缝在平面内为研究对象，设计了一种根据工件外形轮廓在线生成平滑焊接轨迹的异型工件自动焊接装置。针对异型工件外形轮廓提取，基于Halcon软件提出了用机器视觉提取异型工件外形轮廓的算法，对图像进行分离、腐蚀、提取骨架处理，将与焊接轨迹无关的噪声区域剔除，提取出焊接工件的外形轮廓，并为NURBS曲线拟合提供数据点；为求解平滑的焊接轨迹且避免非线性问题，在进行NURBS曲线拟合的过程中，通过建立并求解线性最小二乘问题的方法求解控制点，提出了最小二乘全局逼近NURBS曲线拟合算法，可解决异型工件外形轮廓热变形导致的焊接轨迹不可预测的问题。

轮廓提取试验表明其提取精度平均值为0.559 mm，最高值为0.813 mm；由NURBS曲线拟合试验结果可知：拟合算法稳定性较好，最大误差为0.889 8 mm，最小误差为0.386 mm，平均误差为0.604 0 mm；对于外形轮廓包括圆弧、样条曲线在内的异型工件，全局逼近算法都能够很好的拟合成平滑曲线，去除轮廓提取中不可避免的坏点和尖点。轮廓提取算法和NURBS曲线拟合算法的结合，对于任意外形轮廓的异型工件，异型工件自动焊接系统都能够自动生成效果较好的焊接轨迹，从而有效的避免了焊接过程中的抖动问题，保证工件的焊接质量，提升焊接效率。

参考文献

[1] 汪 苏,韩凌攀,苗新刚,等. 相贯线焊接机器人示教再现的工程化实现方法[J].上海交通大学学报, 2010(S1): 138-141.

[2] Huang Y, Yong Y S, Chiba Y, et al. Kinematic control with singularity avoidance for teaching-playback robot manipulator system[J]. IEEE Transactions on Automation Science & Engineering, 2015,13(2):1-14.

[3] 鄢治国,徐 德,李 原,等. 基于示教与视觉纠偏的机器人自动焊接方法研究[J]. 机器人, 2007(3):256-260.

[4] Hongbo M, Wei S, Sheng Z, et al. Robot welding seam tracking method based on passive vision for thin plate closed-gap butt welding[J]. International Journal of Advanced Manufacturing Technology, 2010, 48: 945-953.

[5] 王军波,孙振国,陈 强,等. 基于CCD传感器的球罐焊接机器人焊缝跟踪[J]. 焊接学报,2001,22(2):31-34.

[6] Xing Y S, Chen X S. Laser welding robot vision real-time seam tracking system[J]. Rare Metal Materials and Engineering, 2013(S2):159-162.

[7] 李 琳,李 春,邹焱飚. 基于机器视觉焊接轨迹搜索算法[J]. 焊接学报,2015,36(6):57-60.

[8] Zhu Z Y, Lin T, Piao Y J. Recognition of the initial position of weld based on the image pattern match technology for welding robot[J].International Journal of Advanced Manufacturing, 2005,26(7-8):784-788.

[9] 李 荣,徐燕华. 基于视觉信息的图像特征提取算法研究[J]. 电子设计工程,2016(9):188-190.

[10] 王红涛,傅卫平,康业娜. 工件图像识别的边缘匹配方法研究[J]. 仪器仪表学报,2008(5):986-991.

[11] 顾天奇,张 雷,冀世军,等. 封闭离散点的曲线拟合方法[J]. 吉林大学学报(工学版),2015(2):437-441.

[12] Lavery J E. Shape-preserving, multiscale fitting of univariate data by L1 smoothing splines[J]. Computer Aided Geometric Design, 2000,17(7):715-727.

[13] Luo H L, Long Y, Xie X B. Realization of vehicle License Plate character Recognition based On HALCON[J]. International Congress on Image & Signal Processing,2011(2):936-939.

[14] Yau H T, Lin M T, Tsai M S. Real-time NURBS interpolation using FPGA for high speed motion control[J]. Computer-Aided Design, 2006, 38(10):1123-1133.

 

中图分类号： TG441.1

收稿日期： 2016-09-13

基金项目： 国家04科技重大专项(2015ZX04005006)；广东省科技重大专项(2014B090921004，2015B010918002)，广州市科技重大项目(2014Y2-00014)。

作者简介： 张铁，1968 年出生，博士，华南理工大学机械与汽车工程学院教授，博士生导师。广东省机器人专业委员会常务副主任，中国自动化学会机器人专业委员会委员，中国自动化学会制造技术委员会委员，中国机电一体化技术与应用协会理事、中国标准化委员会机器人标准化分会委员。

主要从事机器人、自动化及机电一体化设备的研究和开发工作，承担了国家级、省部级项目和广东省内企业合作项目多项。发表学术论文100 余篇，获得发明专利10 件，实用新型专利18 件。