基于OpenMV的螺旋管内焊缝自动跟踪系统

0 前言

螺旋埋弧焊钢管的焊接是在带钢成形为钢管过程中，在焊剂埋弧状态下实时进行的，为了保障焊接的质量，需要在焊接过程中实时跟踪焊缝，及时纠正焊枪位置。目前，针对螺旋管内焊接国内普遍采用的是人工观察焊缝位置，判断焊枪的偏差，然后调整焊枪的移动方向，这种依靠人工的焊缝跟踪技术的缺陷在于效率低，而且长时间工作会导致视觉疲劳，容易造成判断失误，影响焊接质量[1]。

视觉传感器技术凭借其远离强光、强热区域，采集信息量大的特点被应用于焊缝跟踪系统，核心方法是图像处理技术[2]。近年来，基于视觉技术进行焊缝跟踪的研究不断发展，如基于图像传感技术的焊缝定位检测系统的研究[3]，基于管内温度场图像处理方法研究[4-5]，基于概率连续模型的激光视觉焊缝跟踪[6]等。文中将开源、体积小、相对廉价的OpenMV工业机器视觉模块[7]引入焊接加工领域，采用辅助照明的主动视觉技术[8]，通过图像增益、滤波来增强焊缝边缘信息，结合霍夫变量提取焊缝特征，再加以统计筛选，计算焊枪偏离量，控制电机作出调整，并经现场验证了该套设计方案的可行性。

1 焊缝跟踪系统硬件结构

1.1 硬件结构设计

机器视觉系统主要由三部分组成：图像采集、图像处理和分析、相应指令的输出和执行[9]。该系统设计思路是：利用OpenMV视觉模块来采集图像，通过对OpenMV进行编程来处理图像以得到焊缝信息，若检测得知焊枪偏离，则通过UART将偏离信息传递给Arduino控制模块，采用PID驱动步进电机的方式来纠正焊枪位置。图1为系统工作的结构框图。

图1 系统结构设计图

1.2 OpenMV模块

OpenMV是一个开源、成本低且功能强大的机器视觉模块。它以STM32F427CPU为核心，集成了OV7725摄像头芯片，分辨率最高达30万，用C语言高效地实现了机器视觉算法，提供了Python编程接口，可以轻松实现图像增强、直线检测、滤波去噪等常用算法[10]，可以通过UART，I2C，SPI及GPIO等控制其他硬件，这些特点使得它可以很灵活的配合其他模块，从而实现复杂的功能。

1.3 Arduino控制模块

Arduino是一个开源的硬件平台，编程语言建立于C/C++语言基础上，具有使用方便、成本低、功能多样等特点。该模块主要通过编写程序，实现接收来自OpenMV的调整信息，实时控制电机调整方向来纠偏。

2 焊缝跟踪系统软件设计

2.1 机器视觉的图像处理

2.1.1 图像去噪

图像信息采集借助LED环形灯辅助照明来凸显焊缝边缘信息，由于焊缝图像中的噪声多为椒盐噪声，因此采用去噪效果较为理想的中值滤波法[11]。图2为利用辅助灯源以及中值滤波去噪效果对比图，从图中可看出，借助较强的辅助光源一定程度上可以去除部分背景干扰(如焊剂颗粒)，并且增强了焊缝边缘信息，在辅助光源基础上进行中值滤波，有效的保护了图像中尖锐的边缘信息，一定程度上提高了后期焊缝特征提取的准确率。

图2 辅助光源与滤波处理效果对比

2.1.2 特征提取

在采集到的图像信息中，螺旋管内焊缝只是局部特征，因此以焊缝为中心选取一定的感兴趣区域(ROI),图3中白线框定的矩形区域，一方面可以降低特征提取的计算量，另一方面能够排除区域外部环境的干扰。采用霍夫变换来提取呈直线的焊缝特征，选取检测到的直线中点像素坐标作为记录点，如图2中标出，且由于焊缝为连续的，所以在螺旋管成形过程中检测到的特征点位置之间也应该是连续变化的，依此规律可有效剔除检测结果中偏离较大的记录点。

4.牛巴氏杆菌病（肺炎型）。又称牛出血性败血症，是牛的急性传染病，以发生高热、肺炎和内脏广泛出血，呈现典型大叶性肺炎变化为特征。

易非应聘到了风城日报，报社的工作她应付得来，只是，记者们都不是善茬，关系并不好处理，而且，当一名记者，和她当建筑家的理想相去甚远。有时候易非从报社二十四楼的窗口看出去，看到都是绿树蓝天映衬的红色屋顶，那一栋栋的房子，真像积木般小巧可爱。在建筑师眼里，房子就应该是这种感觉吧？没当成建筑家，但站在报社大楼里，得到的也是一样的感受。这是老天爷对我另一种方式的弥补吗？

图3 图像感兴趣区域及中心区域

2.2 程序设计的工作流程

初次配置系统需要对焊缝位置进行标定，即将焊缝信息调至视野中心区域 (图3短线区域)，中心区域宽度需结合焊缝宽度信息在图像中所占的像素数量来决定。标定完成后，开始采集图像信息，对选定的ROI区域进行图像增强、滤波等能突出焊缝特征的预处理，提取焊缝特征信息，对提取到的焊缝信息进行统计，以综合信息判断焊缝是否偏离了中心区域，若是，则需要对焊枪作出调整[12-13]，由Arduino接收来自OpenMV的指令信息，驱动电机调整焊枪位置，直至焊缝回归中心区域。系统的设计流程如图4所示。

图4 系统程序设计图

3 焊缝特征数据处理

3.1 去噪

试验发现，采用霍夫变换提取焊缝处的直线特征往往波动较大，需要对识别到的焊缝位置数据进行统计、筛选，以提高焊缝偏移量计算的准确率，使得焊枪调节过程更加平稳。式 (1) 为系统采用的焊缝位置信息均值统计公式，其中n代表参与计算的前期焊缝记录点数量；xi代表前期某次的焊缝记录点；xc为当前检测到的焊缝记录点；a代表截断阈值。若当前记录点与前期n次数据的平均值之差的绝对值大于阈值时，将检测信息加入记录数据中，而当前焊缝信息由前n次平均值给出，因而能够去掉焊缝数据集中出现的噪点，使得整个焊缝数据集更加平滑，2a即为中心区域宽度。

根据表1记录，王院村在1月初菌棒接种，菌丝满袋历时105～120天，满袋后25～30天转色，转色用时10～14日，采收第一潮菇为5月16日。纳黑村2月初接种，90～100天菌丝满袋，满袋后约20天转色，转色用时10～14天，6月4日采第一潮菇。万家店村5月中旬接种，55～65天菌丝满袋，菌丝满袋后15天开始转色，转色用时7～10天，8月5日采收第一潮菇。

(1)

图5为螺旋管静止条件下，焊缝特征提取的结果图，反映了是否结合前期记录点对系统焊缝特征提取的准确性及稳定性的影响。通过对比可发现，没有结合前期记录点时，检测点虽然出现在视野中心区域频率高，但两侧仍有大量错误检测信息，若不加以处理，这将导致焊枪来回抖动；而在采用公式(1)的去噪处理后，检测到的焊缝像素位置明显趋于稳定，依据焊缝位置的分布规律，便可以有效确定中心区域宽度。

图5 焊缝特征提取结果图

3.2 参数n的实际意义

通过改变参与调整的前期记录点数n，可以调节系统的反应灵敏度。试验发现，参与的记录点越多，系统的灵敏度相应会降低。图6反映了不同的参与调整记录点数对系统灵敏度的影响，图中纵坐标1和-1代表着焊枪调节的两个方向，0代表不作调节。对比后发现：当结合前期的记录点增多时，调节的周期也会随之增长，这在焊枪运动控制上表现为调节滞后，将影响到焊接质量。在实际操作过程中，对参数n的选择应结合系统的数据计算能力和螺旋管的运动速度，依据多次试验来决定，记录点数过少时，式(1)无法起到去噪的作用，数据量过大则会导致焊枪调节不及时。

创业教育在促进创业意愿和帮助有创业精神的公民进一步发展方面发挥了重要作用。Asliza et al.(2016)针对农业企业家教育，从农业这个角度出发，旨在探讨农业创业教育对马来西亚农业学生的创业倾向和创业意向的影响，结果初步表明地方高校提供的农业创业教育对学生创业技能和创业意向的培养有充分的促进作用，深刻揭示了创业教育的重要性。

农村经济管理并非是一项独立的工作，需要和各个部门、各个专业进行密切合作，这其中的关系极为复杂。所以，要构建农村信息交流以及共享机制，促进农村经济管理中各部门的良好发展。在农村经济信息化管理中，农村经济管理部门要高度重视收集和整理基层信息，结合农村经济发展的特殊性，充分了解农村经济发展的真实所需。农村经济管理部门还应积极和相关企业保持良好的合作关系，学习企业如何高效利用网络的即时性优点，构建完善的农村信息化经济管理体系。

图6 综合前期数据量对系统灵敏度的影响

4 现场试验结果

为了实地验证整套设计方案的可行性，在钢管厂进行了多次现场试验，经过不断完善系统设计和调节参数，最终能够稳定的连续工作。

由于人工观察焊缝与焊枪的相对位置容易受到视角和长时间工作导致的视觉疲劳影响，而机器视觉模块能够实时以固定的视角捕捉焊缝信息，一旦偏离能够在其误差范围内及时作出反应，从而实现在降低工人的工作强度同时保证焊接质量。试验中系统的平均响应周期为72 ms，纠偏误差控制在0.4 mm，纠偏精度要求为0.5 mm，能满足现场的焊接工艺需求。图7为为焊缝追踪系统设备及试验现场图。

图7 焊缝追踪系统设备及现场试验图

5 总结

针对钢材加工厂的实际应用需求，利用时下较为火热的OpenMV机器视觉模块，通过图像处理技术对螺旋管内焊焊缝信息进行识别，对识别到的焊缝数据进行统计，筛选后计算焊枪偏移信息，进而控制电机以调整焊枪位置，搭建了一套焊缝自动跟踪系统。经现场多次试验证明，该套方案实际可行，能够降低工人劳动强度，提高生产效率。

参考文献

[1] 张旭．螺旋管内焊图像处理算法的研究[D]．沈阳：沈阳工业大学硕士论文，2015．

[2] 王伟，邹奇仕，朱六妹，等．视觉传感焊缝跟踪技术的发展状况及实施方案探讨[J]．电焊机，2002(5)：1-8．

[3] 李松阳．基于图像传感技术的焊缝定位检测系统的研究[D]．浙江：浙江大学硕士学位论文，2018．

[4] 程继文，张义顺．螺旋管埋弧焊内焊焊缝跟踪[J]．焊接技术，2016，45(6)：71-74．

[5] 程继文．螺旋管内焊温度场图像处理算法的研究[D]．沈阳：沈阳工业大学硕士学位论文，2017．

[6] 邹焱飚，周卫林，研博．基于概率连续模型的激光视觉焊缝自动跟踪[J]．机械工程学报，2017，53(10)：70-78．

[7] 郭志鹏，于治水，张培磊，等．基于视觉传感的焊缝跟踪系 统研究现状[J]．轻工机械，2016，34(5)：95-100．

[8] 范俊峰，景奉水，方灶军．基于视觉传感的焊缝跟踪技术研究现状和发展趋势[J]．热加工工艺，2017，46(5)：6-10，14．

[9] 赵飞翔，车彦洁．基于OPENMV 的室内扫地小车[J]．魅力中国，2017(51)：168．

[10] 潘丽静，张虹波，周婷婷．全自动模拟目标搜救系统的设计与实现[J]．电脑知识与技术，2016，112(28)：178-180．

[11] 张博程．螺旋管外焊焊缝自动跟踪系统试验研究[D]．沈阳：沈阳工业大学硕士学位论文，2014．

[12] 刘少林，王锦夏，钟波，等．激光视觉焊缝跟踪系统设计与关键技术[J]．电焊机，2015，45(9)：51-58．

[13] 王文超，高向东，丁晓东．焊缝视觉传感识别方法研究[J]．热加工工艺，2018，47(1)：195-198，202．