基于ACT匹配的GMA增材制造熔池形貌三维重建

0 序 言

GMA增材制造具有堆积效率高、制造成本低等优点，在航空航天、国防工业等领域应用广泛[1-3].GMA增材制造过程存在众多扰动因素，诸如：熔滴过渡方式、堆积层散热速率、层间温度、保护气体流量等，难以保证堆积过程中熔池尺寸均匀一致. 因此，亟需对GMA增材制造过程开展在线检测.

目前，国内外学者大多采用电参数传感、红外传感、单目视觉传感等方法[4-6]对电弧填丝增材制造成形过程进行检测. 相较于其它传感方法，视觉传感有着直观、信息量丰富等显著优点. 然而，单目视觉传感仅能获取电弧增材制造熔池单一方向上的平面信息. 同时，单目视觉传感器到堆积层熔池表面距离的波动，使得传感器标定失效[7]. 文献[8]利用被动视觉传感器监测焊枪到堆积层熔池表面距离，实时修正GMA增材制造熔池宽度视觉传感器的标定系数，但该系统组成过于复杂. 传统双目立体视觉传感系统虽然可以恢复目标物体的三维形貌，但是难以保持两摄像机的同步采集. 为此，文中基于双棱镜的折射原理，设计单摄像机虚拟双目视觉传感系统，重建GMA增材制造熔池表面三维形貌，实现熔池形貌的在线监测.

1 虚拟双目视觉传感系统设计

传统的双目视觉传感系统，采用两个单独的摄像机，从不同角度检测目标物体，检测过程中难以保证两摄像机相对位置固定，提升成本并增加了系统的复杂程度. 为此，设计了基于双棱镜的单摄像机虚拟双目视觉传感系统，如图1所示，利用双棱镜两个斜面的折射，在图像平面上得到空间点Xp的两个投影点ml，mr，使得单摄像机获得立体图像对，实现了左右虚拟摄像机的平行配置.

图1 基于双棱镜的虚拟双目视觉传感系统
Fig.1 Virtual binocular vision system based on biprism

设计的虚拟双目视觉传感系统具体参数如下：电荷耦合(CCD, charge coupled device)摄像机为北京大恒图像提供的水星系列MER-125-30UM-L工业摄像机，像素焦距αu = 6 667，摄像机镜头为M2514-MP2镜头，焦距为25 mm，双棱镜材质为K9玻璃，双棱镜边角 α = 7°，折射偏角 δ = 3.623°，双棱镜底面尺寸为30 mm × 30 mm，双棱镜底面到增材制造熔池表面距离ZP = 152 mm，摄像机镜头焦点到双棱镜底面距离tZ = 48 mm. 熔池表面到摄像机焦点距离Z对成像点ml，mr像素距离dlr求偏导得

由式(1)可知，设计的虚拟双目视觉传感系统达到亚像素精度.

2 三维重建算法

基于虚拟双目视觉的三维重建算法，通过摄像机标定求解左右虚拟摄像机内外参数及其位置关系，完成图像对的极线校正使左右投影点位于同一水平线上，利用立体匹配求取图像对视差，即求取左右投影点图像坐标的偏差，最后基于三角测量法计算空间点三维坐标.

这个考核评价标准，可有效地分析和判断学生个体和整体是否达到教学要求，针对薄弱环节，指导教师更加明确实验教学中的持续改进点。

2.1 传感系统标定及极线校正

采用平面模板标定法[9]，标定左右虚拟摄像机内外参数、左右虚拟摄像机相对位置关系. 坐标为(XW, YW, ZW)的空间三维点投影到图像平面，其坐标为(u, v)，两坐标转换关系为

式中：[α, β]为摄像机像素焦距；γ为畸变系数；[u0,v0]为主点坐标；K称为摄像机内参数；R为旋转矩阵；t为平移向量；[R, t]称为摄像机外参数.

左右摄像机相对位置与左右摄像机外参数关系为

花青素浸提工艺涉及浸提、超声波辅助浸提、微波辅助浸提等方法，浸提溶剂和浓度，以及不同的浸提温度、时间、pH值和料液比等都对花青素的浸提收率均会产生影响。因此，试验研究了浸提溶剂浓度、温度、时间和料液比等影响因子对刺葡萄皮中花青素浸提的影响。

那天晚上，麦小秋被这个叫饶建的老乡请进了“万客圆”。就是在“万客圆”，饶建已经从瓦塘亲戚关系的缠绕中成为了麦小秋的饶哥。

式中：RRL为左右摄像机相对旋转矩阵；tRL为左右摄像机相对平移向量；[Rl, tl]，[Rr, tr]分别为左右摄像机外参数.

采用透射投影极线校正算法[10]，求取左右图像透射投影变换矩阵，基于双线性插值变换，分别将左右透射投影变换矩阵作用于左右图像，完成极线校正. 经极线校正的投影点满足基本方程为

1) The basic principle of the UltraLab network experiment platform

式中：ml，mr为空间点在左右图像平面上的投影点；Kl，Kr分别为左右摄像机内参数.

2.2 自适应权重Census变换立体匹配算法

基于左右投影点在一定邻域范围内具有颜色相似的特点，局部立体匹配算法以邻域匹配代价为相似标准，求取视差值，具有计算简便、复杂度低、硬件实现容易等优点. 相较于其它局部立体匹配算法，Census变换立体匹配算法以中心像素点与其领域像素点的关系，替代中心像素点灰度值，增强了立体匹配的鲁棒性，改善了匹配精度.

传统Census变换立体匹配算法，以中心像素点p与一定邻域窗口ωG映射形成的比特流为p点的Census变换码，以左右图像Census变换码为基础，利用汉明距离计算匹配代价，通过聚合窗口匹配代价求取总匹配代价. 匹配代价越小，则左右图像的相似度越高. 在一定搜索范围 dmin≤d≤dmax内，取最小匹配代价对应的视差值为中心像素点视差.

2018年在行业监管趋严和市场疲软的双重打击下，游戏概念股持续走低。游戏龙头股腾讯控股（00700.HK）股价也随之持续下跌，距离今年历史最高价475.72港元，最大跌幅已超55%。在今年9月到10月份，腾讯曾连续24天回购股票，但仍未能有效挽救投资者信心。

采用MRS培养基[17]，分别接种10-5、10-6、10-7、10-8 四个稀释梯度的悬浮液，将接种好的培养皿于37 ℃培养24 h后进行乳酸菌菌落计数。计数时选取培养基上光滑，圆形的灰白色菌落进行计数。

传统Census变换立体匹配算法，过度依赖中心像素点p的灰度值，对噪声敏感度大. 如果中心像素点p的灰度值受外界干扰，Census变换码极易出现明显变化，使得匹配精度降低. 在Census变换时，仅比较了中心像素点p与邻域像素点q灰度值的大小，忽略了灰度值之间的深度差异，在深度不连续区域易出现误匹配.

ACT立体匹配算法通过比较中心像素点灰度值I(x, y)与其十字灰度均值Ia(x, y)的相对大小，确定Census变换时的中心点灰度值Ir(x, y)，设定比较阈值 Ta，即

轻型木结构材料成本低，标准化、装配化程度高，施工便捷，适用于低成本、大规模的生产建造。但由于其结构构件被围护体包裹隐匿，木结构本身的表现力相对较弱。而胶合木结构不受天然木材强度及尺寸限制，可以满足各种结构构件的形态及尺寸，灵活多变，为木结构建筑形态的多样性提供了可能；另一方面，其承重结构与围护体相分离，可裸露于外，更能突显木结构的力与美。但由于其木构件产品的多样性以及现阶段市场规模所限，与轻型木结构相比，胶合木结构的模数化标准化程度较低，更适合小批量定制化的项目采用。方木原木结构则是传统井干式木结构体系的传承和发展，木混合结构建筑主要用于高层木构建筑的建造。

应建立明确的再入院的“绿色通道”。在患者回家的24～48 h内应进行电话随访及指导，术后7～10 d应来门诊进行回访，如进行伤口拆线以及讨论进一步的抗肿瘤治疗等。一般而言，ERAS的临床随访至少应持续到术后30 d。

在进行比特流的计算时，根据邻域像素点q与中心像素点p灰度值深度差异，为Census变换赋予不同的权重，将比特流的计算改进为

式中：为位串联符；l，r分别为Census变换窗口高度和宽度的一半；C为常数因子；为色差因子；sign为符号函数.

鉴于比特流的形式得以改进，采用绝对距离代替传统Census变换立体匹配算法中的汉明距离，计算匹配代价为

为提高深度连续区域与深度不连续区域匹配精度，ACT立体匹配算法在计算匹配代价时，采用自适应窗口. 定义临近点梯度值为

式中：I(p1)，I(p2)分别为紧邻中心像素点p的左右两像素点灰度值.

比较G(p)与设定阈值Tg以确定聚合窗口大小.如果梯度值G(p)小于阈值Tg，则选用较大聚合窗口ωb；反之，则选用较小聚合窗口ωs.

2.3 ACT立体匹配算法优化

ACT立体匹配算法求得的视差值为像素精度视差. 对离散视差值所对应的匹配代价值，进行二次拟合，求取亚像素精度视差dopt. 为简化计算，仅利用像素精度视差d0，d0 - 1，d0 + 1及其对应的匹配代价值，计算亚像素精度视差为

图像对的左右视差图存在一定对应关系，采用左右一致校验算法，对求取的视差值进行精化，删除不满足左右一致校验的点，校验公式为

2.4 空间点三维坐标计算

利用三角测量法计算空间点的三维坐标为

式中：(XW, YW, ZW)为空间点三维坐标；[αl, βl]为左摄像机像素焦距；[ul0, vl0]为左摄像机主点坐标；B为左右虚拟摄像机光心距；F为摄像机像素焦距.

利用空间三维点建立网格，采用三角剖分法拟合得到曲面，即为三维重建结果.

2.5 试验验证

在直径12 mm圆柱体表面粘贴黑白棋盘格，采用虚拟双目视觉系统检测获取了标准圆柱体左右图像对，如图2a所示. 基于三维重建算法，采用MATLAB计算图像黑色区域圆柱体表面三维点云，GEOMAGIC进行曲面拟合，重建圆柱体表面三维形貌，如图2b所示，三维重建算法参数如表1所示. 计算圆柱体表面三维形貌宽度的最大值为12.38 mm，相对误差为3.17%；圆柱体表面高度的最大值为6.35 mm，相对误差为5.83%.

其实，写作在小学阶段就是让学生愿意用笔写出自己心中想写的事就可以。每一个孩子的内心深处都有一个五彩缤纷的世界，当你鼓励他们用自己手中的笔把自己心中那个五彩的世界写出来的时候，孩子们心中的那份激情是无法抑制的。在表达的过程中如果遇到瓶颈，他们会想尽一切办法突破的。这时候他们会通过各种方法查阅资料。这时读书会成为他们的内在需求，慢慢地读书会变成一种习惯，写日记会成为他们一天中必做的事情之一。试想：在这种状态下的写作教学是不是不想高效都难呢？

图2 圆柱体三维重建
Fig.2 Three-dimensional reconstruction of a cylinder

表1 三维重建参数
Table1 Three-dimensional reconstruction parameters

?

3 GMA增材制造熔池形貌三维重建

以GMA电弧为热源，成形设备为松下PANASONIC焊机，填充丝材为直径1.2 mm的H08Mn2Si，基板材质为Q235B低碳钢，基板尺寸为200 mm × 120 mm × 10 mm. 堆积层长度为 150 mm，每堆积完一层，焊枪升高1.6 mm，待当前堆积层表面温度降至120 ℃以下，开始堆积下一层，共堆积六层，相邻层间堆积方向相同. 堆积电流为130 A，电弧电压为21 V，行走速度为4 mm/s，保护气体成分为95%Ar + 5%CO2，气流量为18 L/min. 成形的多层单道薄壁件如图3所示.

图3 薄壁件成形形貌
Fig.3 Forming appearance of a thin-walled part

在虚拟双目视觉传感系统CCD摄像机镜头前安装波长685 nm的滤光片以及透光度5%的减光片，检测堆积层熔池，采集的熔池图像对如图4a所示. 对熔池图像对进行极线矫正，阈值法提取液态熔池区域，采用高斯平滑滤波去除熔池图像噪声点，基于优化的ACT立体匹配算法求取了熔池图像对亚像素精度视差，如图4b所示，采用三角测量法重建了GMA增材制造熔池表面形貌，如图4c所示，熔池表面最大宽度为9.09 mm.

图4 GMA增材制造熔池形貌三维重建
Fig.4 Three-dimensional reconstruction of molten pool in GMA-based additive manufacturing

4 结 论

(1) 基于双棱镜折射原理，设计了基于单摄像机的虚拟双目视觉传感系统，使单CCD摄像机获得了立体图像对.

(2) 采用平面模板标定法求解了左右虚拟摄像机内外参数及相对位置关系，基于投射投影极线校正算法完成了图像对的极线校正. 对ACT立体匹配算法进行优化，求取了图像亚像素精度视差，利用左右一致检验删除图像误匹配点. 重建了标准圆柱体表面部分形貌，其宽度误差优于3.17%，高度误差优于5.83%.

(3) 以GMA增材制造熔池图像对为例，阈值法提取了液态熔池区域，基于优化的ACT立体匹配算法求取了熔池图像对亚像素精度视差，重建了熔池表面三维形貌，实现了熔池形貌的在线检测.

参考文献：

[1]Williams S W, Martina F, Addison A C, et al. Wire+arc additive manufacturing[J]. Materials Science and Technology, 2016, 32(7):641 - 647.

[2]Ding D H, Pan Z X, Cuiuri D, et al. Wire-feed additive manufacturing of metal components: technologies, developments and future interests[J]. The International Journal of Advanced Manufacturing Technology, 2015, 81(1-4): 465 - 481.

[3]柏久阳, 王计辉, 林三宝, 等. 铝合金电弧增材制造焊道宽度尺寸预测[J]. 焊接学报, 2015, 36(9): 87 - 90.

Bai Jiuyang, Wang Jihui, Lin Sanbao, et al. Width prediction of aluminium alloy weld additively manufactured by TIG arc[J].Transactions of the China Welding Institution, 2015, 36(9): 87 -90.

[4]Nilsiam Y, Haselhuhn A, Wijnen B, et al. Integrated voltage—current monitoring and control of gas metal arc weld magnetic ball-jointed open source 3-D printer[J]. Machines, 2015,3(4): 339 - 351.

[5]Spencer J D, Dickens P M, Wykes C M. Rapid prototyping of metal parts by three-dimensional welding[J]. Proceedings of the Institution of Mechanical Engineers, Part B: Journal of Engineering Manufacture, 1998, 212(3): 175 - 182.

[6]Wang H J, Jiang W H, Ouyang J H, et al. Rapid prototyping of 4043 Al-alloy parts by VP-GTAW[J]. Journal of Materials Processing Technology, 2004, 148(1): 93 - 102.

[7]Xiong J, Zhang G J, Qiu Z L, et al. Vision-sensing and bead width control of a single-bead multi-layer part: material and energy savings in GMAW-based rapid manufacturing[J]. Journal of Cleaner Production, 2013, 41(1): 82 - 88.

[8]熊 俊. 多层单道GMA增材制造成形特性及熔敷尺寸控制[D]. 哈尔滨: 哈尔滨工业大学, 2014.

[9]Zhang Z Y. A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000, 22(11): 1330 - 1334.

[10]Fusiello A, Trucco E, Verri A. A compact algorithm for rectification of stereo pairs[J]. Machine Vision and Applications, 2000,12(1): 16 - 22.