基于单目视觉的初始焊位导引技术

0 序 言

焊缝起始点的导引是机器人智能化焊接必不可少的技术之一[1-2]；传统基于视觉的初始焊位导引方法主要有立体视觉方法和视觉伺服控制方法. 立体视觉方法主要是根据双目视觉原理利用摄像机在不同位置获得目标点的图像，然后进行图像处理、立体匹配、空间定位等过程计算目标点坐标，进而控制机器人运动[3-4]，由于事先不知道目标点具体方位，摄像机需要多次变换位置对目标景物进行图像采集，实施过程存在一定盲目性，且当图像采集过程中目标点偏离图像中心较远时，由于相机畸变等原因会造成目标点位置误差较大，从而增加了对摄像机位姿的调整环节. 整个过程需要做较多的先验性工作. 另外整个过程中系统只做一次或少量的测量，操作中累积的误差也得不到实时反馈调整.

针对以上问题，提出了一种基于单目视觉的初始焊位导引技术，利用单个摄像机从不同方位采集目标点的二维图像信息，建立相机在不同位置时过目标点的空间直线方程，并求解这些直线交点，求出目标点的三维坐标，该方法避免了双目视觉过程中的立体匹配，多摄像机位姿标定，求取方法简单、高效，能够满足焊位初始点的导引需求.

再次，高职院校特色资源建设多由技术部门有限的工作人员负责，没有专门的机构去负责特色资源的规划、构建、完善、更新。而技术部门工作人员平时的工作精力大多投入到馆内工作设备的维护、各种商业数据库的管理、更新。对特色资源的更新维护有心无力，这就导致高职院校的特色资源多为一次性构建，鲜见特色资源后续的完善、更新。

1 预备知识

在高等几何中，对空间直线的定义方式有很多种，常用的方式有如下两种，假设空间中两点A，B，定义其齐次坐标分别为 A = (x1，y1，z1，1)，B = (x2，y2，z2，1)，则直线方程可以表示为

同时直线方程也可以表示为对称式的形式，即

设存在两条直线方程l1，l2，即

如果直线l1与直线l2为异面直线，则其公垂线方程[5]可以表示为

式中：

9月4日，印度中央统计局发布数据显示，二季度GDP同比增长8.2%，为2016年一季度以来最快，主要由于制造业和农业稳步扩张，消费者支出不断增强。

如果直线l1与直线l2为相交直线，则两直线的交点可以通过联立方程求得

采用眼在手上的方式(eye-in-hand)对初始焊位进行导引，因此在导引过程中，首先要对系统进行手眼标定，由文献[6]可知，Tsai通过两步标定的方法实现手眼标定；标定过程中以标定板作为标定工具，通过变换机器人的位姿，控制相机从不同的位置对标定板进行图像采集，从而实现相机相对于机器人末端的位姿参数的标定.

2 导引系统原理

基于单目视觉的初始焊位导引技术系统结构见图1.

图1 导引系统示意图
Fig. 1 Working principle diagram of the system

系统工作原理如图2所示，图中Cw为机器人基坐标系，Ci，Cj为机器人末端坐标系，Cc1，Cc2为机器人处于i，j位置时的相机坐标系，由图可知，控制相机从两个位置对固定点P进行图像采集，根据相机小孔成像原理，点P在两个方位的摄像机成像平面上成的像点分别为P1，P2，则空间中的点P应处于Pi，Pj与其相应的摄像机光心O1，O2的连线上，因此，如果想求得点P相对于机器人基坐标系Cw的坐标，只需求得空间直线O1P1与O2P2的交点坐标. 具体求解过程如下. 假设机器人处于i，j位置时空间点P在图像平面上成的像的坐标为P1(xi，yi，fi)P2(xj，yj，fj)，fi，fj为相机焦距；则根据空间直线方程的定义，其在对应的摄像机坐标系中的方程可以分别表示为

图2 系统工作原理图
Fig. 2 Working principle diagram of the system

此时点P位于相机坐标系所确定的直线上，需要将其转换到机器人基坐标系的坐标空间中.

两直线在机器人基坐标系中的表示形式可以由式(11)、式(12)得出

泰煤家园是计划经济时期的产物，其中遗留了大量上个世纪所特有的老工业企业物质文化和精神面貌，小户型的宿舍房、废弃的工厂设施等。利用这些特殊因素，可以将泰煤家园打造成一个以工业文化为主题的慢节奏旅游社区。保留原生态的工业符号，建设充盈着火红年代里浓浓工业气味的工人生活馆，在社区中设置精神浮雕、故事墙、文化展览馆等[3]。工业文化的展示还需要情感的介入，老工人的自述就是情感最好的表达。可以让社区的老人和游客坐在一起，说出自己的故事，讲解工业的兴衰史，让游客切身体验到计划经济时期的工人生活，居民可重拾计划经济时代的自豪感和对社区的归属感。

式中：H为相机坐标系相对于机器人末端坐标系的位姿矩阵，为常量矩阵；Hi，Hj为机器人处于 i，j位置时机器人末端相对于机器人基坐标系的位姿矩阵，从机器人示教器中可以读出，分别令

经计算可得

为了后续实验测试中更方便地传送单片机测量到的数据,还需要设计相应的通信电路,目前通信方式主要分为有线通信和无线通信。一方面,本文测量系统采用串口RS-232标准总线进行采集数据与PC机之间的有线通信[17],仅需要一条接收线、一条数据发送线及地线便可以建立通信。值得注意的是,由于PC机与单片机的逻辑表示不同,PC机串口是RS-232电平、采用正负电压表示逻辑状态,而单片机串口是TTL电平、以高低电平表示逻辑状态,因此,两者要想实现通信必须经过逻辑关系与电平关系的转换。本系统选用美信(MAXIN)公司MAX232芯片作为电平转换芯片,连接电路如图8所示,接口连接器选用DB-9型接口。

实际求解过程中由于误差的存在，所求直线通常为空间异面直线的关系，如图3所示.

为了减小误差，取距离两直线的距离之和最小的点作为P点；可知，该点位于两异面直线的公垂线上，如图3所示，图中M，N为公垂线与异面直线的交点，取直线MN的中点作为点P的取代点；直线MN的方程可以由式(5)求得，M，N的坐标可以由式(8)求得，取M，N点坐标的平均值即为点P的坐标.

图3 空间异面直线
Fig. 3 Straight lines in different planes

图4 焊位起始点提取
Fig. 4 Extraction of spot starting point

3 焊缝起始点识别

焊缝起始点的识别是一种针对性较强的技术，在识别过程中，应该充分结合先验性知识以增加识别精度与准确度，图4a是一种常见的平板焊材，由图可知，焊缝起始点是一种位置相对特殊的点，常位于焊缝与焊件边缘的交界处，该点周围像素点的灰度值一般有一个较大的变化，属于特征点中角点的类型；文献[7]对几种常见的角点检测方法的优缺点进行了概述，就精度与实用性而言，Forstner算子在初始点检测方面有独特的优势；因此，运用Forstner角点检测方法[8-9]对焊位初始位置进行检测. 该方法主要通过计算各像素的Robert's梯度和某一像素为中心的窗口的灰度协方差矩阵，在图像中寻找具有尽可能小而接近圆的误差椭圆的点作为特征点. 该方法主要是对兴趣值的确定，如式(18)、式(19)所示

式中：Q为窗口中灰度的协方差矩阵，N = Q-1；DetN为矩阵N的行列式；trN为矩阵N的迹. q为对应像素的误差椭圆的圆度；w定义为该像元的权，由式(20)可以求出a，b的值，从而对点的类型进行判断；如果a，b中任意一个为0，即q = 0，该点可能位于边缘上；如果a = b，q = 1，表明该点为圆点.

检测过程中采用3 × 3大小的窗口，检测结果如图4b标注所示，提取出的角点中除了起始点外还包含周围环境中的角点以及工件边界交点所形成的角点；通过筛选，即可确定焊缝起始点的坐标.

4 参数修正

现实情况中由于摄像机畸变以及环境因素，实际测量结果存在误差，最大的误差来自摄像机的畸变，因此在测量中应将摄像机的畸变因素考虑到计算过程中；相机畸变成像模型如图5所示，摄像机径向畸变模型[10]可由式(21)、式(22)得出

法律移植的新语境，就是要关注法律移植后的本土化效果，再进一步来说就是，“排除合理怀疑”的适用要符合我国的司法环境。从中美两国的“异质性”引申出来很多需要解决的问题，才能更好的完善我国的“排除合理怀疑”制度。

式中： ， 为实际相机图像坐标；k1为相机径向畸变参数中r为图像中心到像素点的距离.

1月17日，江西省瑞金市举行东风·鑫瑞新能源汽车产业园项目签约仪式。该项目总投资120亿元，主要建设年产20万辆氢燃料汽车、纯电动汽车和混合动力等新能源汽车，及其配套氢能源、电动机、电池、电控和成套配件系统的智能制造产业园。

图中下标表示相应的坐标系：“w”表示世界坐标，“c”表示相机图像坐标，“u”表示像素坐标.

图像像素坐标xu和yu与相机图像坐标， 之间的关系可由式(23)得出

图5 摄像机成像模型
Fig. 5 Camera image model

由式(21)、式(22)、式(23)联立可得

利用式(24)对式(16)、式(17)中的直线方程f1，f2进行修正，可以得出较精确的解.

5 试验分析

试验在埃夫特ER3A—C60型工业机器人平台上进行，相机像素为768 × 562，试验系统如图6所示，试验过程中首先对相机与手眼关系进行标定，求的相机参数如表1所示.

图6 试验系统
Fig. 6 Experiment system

表1 相机参数
Table 1 Camera parameters

中心点x轴像素坐标Oux 中心点y轴像素坐标Ouy 像素尺寸hx/ 10-6 m 像素尺寸hy/ 10-6 m 焦距f / m 畸变参数k1 368.63 267.86 7.244 7.4 0.005 3 -14 018

对系统进行手眼标定，结果为

试验分别从两个不同的方位对焊件进行取像，并记录每次方位的机器人位姿如表2所示，通过对所拍摄的图片进行处理，得到图中焊位起始点像素坐标分别为 (476.02，459.11)，(349.67, 499.79)；经计算求得直线方程如表3所示.

表2 机器人位姿
Table 2 Parameters of rbot position

参数 x/m y/m z/m Ex/(°) Ey/(°) Ez/(°)1 0.453 2 -0.050 7 0.379 1 -13.56 159.03 -35.73 2 0.506 1 -0.120 2 0.321 0 -20.61 175.61 -43.80

根据求取两条直线的公垂线与该两条直线交点连线得中点坐标为(0.590 68，-0.207 71，0.127 61)；为了检测测量结果的精度，从示教器中读出此时焊位的实际坐标为 (0.591 32，-0.205 93，0.126 53)，误差约为2.18 mm；试验表明，该方法能够实现初始焊位的导引，满足精度的要求.

表3 直线方程
Table 3 Linear equation

序号 直线方程1[]images/BZ_23_1575_2388_2100_2472.png2[]images/BZ_23_1575_2497_2100_2580.png

6 结 论

(1)通过eye-in-hand的方式，控制相机从不同的方位对初始焊位进行图像采集，建立起经过初始焊位的直线方程，通过求取空间直线的交点，可得初始焊位的三维坐标，进而指导机器人运动.

香气成分的鉴定采用参考文献[12]的方法，即各成分首先经NIST05标准谱库检索初步定性，再将各成分的保留指数（retention index，RI）与单体标准物质RI和参考文献RI值对比以及单体的香气特征等综合指标决定该成分的归属，其中RI计算方法参考文献[13]所述。

5.3 去雄。为节省养分，将有限的养分集中供给植株生长发育，因此，玉米拔除多余分蘖应及早进行，以降低养分损耗，同时还可以避免损伤主茎。玉米去雄可减少植株体内的营养消耗，促使光合产物和矿物营养向雌穗输送，使穗大、粒多、子饱。去雄后，一般可增产10%左右。人工辅助授粉可减少秃顶、缺粒，一般可增产8%～10%。在玉米进入蜡熟末期，扒开玉米果穗苞叶，以促进玉米早熟，进行田间降水，提高玉米品质。

(2)根据焊缝初始点的位置特征，采用Forstner角点检测方法对初始点进行检测，该方法在焊缝起始点的提取中具有独特的优势，较适用与类似角点的检测.

姑妈哪敢怠慢，出门打了的，跌跌撞撞地进了驰宇工地。太阳已经偏西了，驰宇工地空无一人，有风肆虐，刮起黄尘嚣嚣，一片狼烟。姑妈用手拂面，四处张望，却不见小虫踪影。姑妈掏出手机，正欲打电话，小虫从一个毛坯楼梯口现身，向姑妈招手。姑妈提着裙子，踮着脚尖，颠着肥胖的身子，从碎石瓦砾中磕磕碰碰地小跑过去。小虫一把将姑妈拉进楼道里。

(3)试验过程中，导引精度常常受相机畸变、机器人本体精度以及手眼标定精度的影响，因此在导引过程中为了提高精度，需要对相机、机器人本体、以及手眼关系进行精确标定. 为了克服相机畸变对系统精度的影响，根据相机标定所获得的内部参数对初始焊位像素点进行修正，可以极大地提高导引精度.

参考文献：

[1]Li Hexi, Shi Yonghua, Wang Guorong. Automatic teaching of stereovision-guided welding robot using ant colony optimization algorithm[J]. China Welding, 2010, 19(1): 37-42.

[2]赖小波, 朱世强, 曹新星. 基于OpenCV的焊缝跟踪系统中摄像机标定方法[J]. 焊接学报, 2010, 31(7): 75-78.Lai Xiaobo, Zhu Shiqiang, Cao Xinxing. OpenCV based camera calibration methods for seam tracking systems[J]. Transactions of the China Welding Institution, 2010, 31(7): 75-78.

[3]陈希章, 陈善本. 弧焊机器人起始焊接位置图像识别与定位[J].焊接学报, 2009, 30(4): 17-20.Chen Xizhang, Chen Shanben. Recognition and positioning of start welding position for arc welding robot[J]. Transactions of the China Welding Institution, 2009, 30(4): 17-20.

[4]陈善本, 吕 娜. 焊接智能化与智能化焊接机器人技术研究进展[J]. 电焊机, 2013, 43(5): 28-36.Chen Shanben, Lü Na. The research progress of intelligent welding and intelligent welding robot technology[J]. Electric Welding Machine, 2013, 43(5): 28-36.

[5]刘程熙, 彭家寅. 异面直线公垂线方程的求法[J]. 内江师范学院学报, 2009(8): 90-92.Liu Chengxi, Peng Jiayin. A method for finding the equation of the common perpendicular in skew lines[J]. Editorial Department of Journal of Neijang Normal University, 2009(8): 90-92.

[6]Tsai R Y, Lenz R K. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEE Transactions on Robotics and Automation, 1989, 5(3): 345-358.

[7]张春美, 龚志辉, 黄 艳. 几种特征点提取算法的性能评估及改进[J]. 测绘科学技术学报, 2008(3): 231-234.Zhang Chunmei, Gong Zhihui, Huang Yan. Performance evaluation and improvement of several feature point detectors[J].Journal of Geomatics Science and Technology, 2008(3): 231 -234.

[8]张祖勋, 张剑清. 数字摄影测量学[M]. 武昌: 武汉大学出版社.2013.

[9]郑明玲. 海量遥感图像高性能配准算法研究[D]. 长沙: 国防科学技术大学, 2003. 

[10]Boguslaw Cyganek. An introduction to 3D computer vision techniques and algorithms[M]. Germany: Wiley, 2009.