结合小波变换的Shi

结合小波变换的Shi-Tomasi算法遮挡图像匹配研究

赵 双，杨慕升

（山东理工大学 机械工程学院，山东 淄博 255049）

摘 要：目标部分遮挡或缺失是计算机视觉应用到制造业中经常遇到的问题。对现实生产中工件间遮挡的图像匹配问题进行研究，提出了小波变换和Shi-Tomasi角点检测相结合的算法。对小波分解后的低频图像进行特征点提取，舍弃图像的高频成分，有效降低噪声对图像的影响。选用常见的法兰盘作为实验对象，在多种环境下验证文中算法的可行性，最后用RANSAC算法消除误匹配。匹配结果表明，该算法不仅可以减少遮挡工件匹配的计算量，去除伪角点，加快识别速度，而且在噪声干扰、旋转、尺度变化等条件下也有较好的匹配效果。

关键词：部分遮挡；计算机视觉；图像匹配；小波变换；角点检测；低频图像

1 引言

目标识别[1]在制造业中得到越来越广泛的应用。在工件制造、装配和检测等生产环节，不同类别的工件进行自动辨识和匹配，实现柔性化[2]生产对企业的发展具有重大的实际意义。但现实生产环境中，工件的放置位置不唯一，各种工件间可能存在一定程度的遮挡。待匹配的工件图像与已知模板图像间存在不同程度的不一致性，这在工件识别过程产生极大的不便。工件识别算法大致分为3个步骤：图像预处理、特征提取、特征匹配。其中特征提取和特征匹配是识别结果准确与否的关键。合理提取未遮挡部分的图像信息以及选择能够快速而又准确实现匹配的相似性度量是处理工件遮挡问题的关键。

目标出现遮挡或缺失时，它的轮廓和形状会发生很大变化，用于形状描述的全局特征将失效[3]，这种情况对目标识别极为不利，可用局部不变特征实现对形状的描述。一般特征分为三类：区域、边界和点特征。基于边界和区域的方法对形状描述时，主要依靠提取目标的全局特征或各区域特征，需要用到目标图像分割和边缘提取，提取效果取决于所选取的检测算子和设置的检测算子参数；一旦待检测目标局部发生变化[4]（如部分遮挡或特征线断裂），则可能导致提取完整的目标轮廓和边缘失败，制约了这两种方法的精准度和鲁棒性。各种图像特征中，点特征数据量小，信息较为完整，对两幅图像之间发生的亮度变化、平移、旋转等保持不变。因此采用特征点匹配来实现工件图像识别。

小波变换有多分辨率分析的优势，能够对图像信息实现数据压缩，减小计算量。Shi-Tomasi角点检测算法对灰度变化、旋转、噪声影响、视觉变化不敏感。从实际生产出发，提出一种结合小波变换和Shi-Tomasi[5]角点检测算子的方法解决遮挡工件的图像匹配问题，算法采用由粗到精的匹配思路。综合利用小波变换和Shi-Tomasi算子的优点，实现遮挡条件下工件图像的快速、准确匹配。

2 图像的小波变换及多尺度表示

图像预处理是Shi-Tomasi角点检测算子精准匹配的首要条件。小波变换可以对信号多尺度分解，在特征匹配之前需要进行小波分解从而获得不同级别的低频分量。数字图像在计算机中以数据的方式存储，可将其看作二维信号，采用二维离散小波分解。设 L2（R2）为二维平方可积函数空间，φ（x，y）∈L2（R2）为可分离二维尺度函数，可将它分离为两个一维尺度函数的乘积：

设 ψ（x）、ψ（y）是与 φ（x）、ψ（y）对应的正交小波函数，则可以构造3个二维基本小波函数：

此时L2（R2）的规范正交小波基为：

｛φj-1，m，（nx，y）；m，n∈z｝张成的二维空间有以下的正交分解：

设f=（fx，y）为待分析的图像信号，其二维逼近图像为：

式中：Aj+1f—小波分解j+1后图像的低频分量；

根据尺度函数和小波函数二者的正交性，可实现图像的多尺度分解：

式中：h—低通滤波系数；g—高通滤波系数

经过小波分解，每一层子波分解成4个相同大小子带，即原图像的低频近似分量LL，水平高频分量HL，垂直高频分量LH，及对角高频分量HH。对每一分解尺度上获得的低频分量，可以用小波变换继续下一级分解。每一级LL分量能够反映工件图像的绝大部分特征信息，因此可以应用不同级别分解后的低频图像参与到特征匹配中。

3 Shi-Tomasi角点检测

角点提取方法目前可以分为两类：一类是基于图像的灰度信息，另一类基于图像的边缘信息。目标图像存在遮挡时，第二类检测方法的边缘线会发生中断，这会对角点检测结果带来误差。针对第一类角点检测方法，不同学者展开了广泛研究。文献[6]在20世纪70年代最先提出角点的概念和算法，该算子没有对图像实施降噪处理，对噪声敏感；固定阈值需要按照实际图像来手动设定，往往带有很大的个人因素。文献[7]提出改进Morevec算子性能的算法，以自相关矩阵为基础，通过高斯滤波器和泰勒展开式等运算来提高提取的精度。该算法对噪声不敏感，检测到的特征点能较好的代表目标图像的纹理特征；由于中间过程多次采用高斯滤波，运算速度不快，对尺度变化敏感。文献[8]提出SUSAN角点检测算法，通过在图像核心点位置设置圆形模板，计算该区域面积的变化来判别特征点。该算法不需要进行图像的求导运算，只对像素层灰度比对，抗干扰能力强；由于图像中各段背景和目标的对比程度不一致，参数阈值的选取较困难。文献[9]提出著名的SIFT描述子，该算法具有尺度不变性、旋转和平移不变性，对噪声也有一定的抑制，这种算法的稳定性被广泛认同。但该算法数据运算量大，耗时长，占用较大的内存。在满足鲁棒性的同时，很难兼顾实时性。文献[7]算子的基础上提出改进的检测方法Shi-Tomasi角点算法。算法能很好的保留强角点，提取的角点数量适中，具备足够的匹配信息，且对内存需求小。由于以上优势，选用Shi-Tomasi算法获得角点集合。Shi-Tomasi特征由Shi和Tomasi提出，用来计算自相关函数矩阵较小的特征值，并进行判断。Shi-Tomasi算法通过计算局部小窗口W（x，y）在各个方向移动后的灰度变化来检测角点。当局部窗口平移（Δx，Δy）后，灰度变化为：

计算自相关函数M的两个特征值，并比较大小。当两个特征值中较小的一个大于阈值时，保留该特征点，即Shi-Tomasi角点。其实质是该特征点的周围存在至少两个不同方向的强边界，这样的特征点易于识别且稳定。

4 结合小波变换的Shi-Tomasi特征点匹配方法

（1）图像预处理。分别对遮挡图像和模板图像多级小波分解。实验表明[10]，分解层数大于2时，获取的角点数目将明显减少，反而会降低识别精度。因此对图像进行二级小波分解。其次，为使分解后的图像能量集中，较好地保留低频子带图像信息，最终采用Daubechies小波进行小波变换。（2）特征点提取。用提出的Shi-Tomasi算法分别对小波分解后的待匹配遮挡图像和模板图像的低频分量提取特征点，得到两个角点集合。（3）特征匹配。以欧氏距离作为特征点匹配的相似性度量，欧氏距离越小，说明特征点越相近。欧氏距离是指两个像素的直线距离，在二维情况下定义为：

这里分两步来提高匹配精度：（1）粗匹配：以其中一幅的特征点P在另一幅中搜索对应的位置，也就是欧氏距离最近的点，采用优先（k-d）树进行搜索查找每个特征点的近似最近邻特征点。给定阈值 T（一般取（0.6～0.8），这里取 0.6）作为判定依据，在这两个特征点中，若最近距离除以次近距离小于T，则认可这一对特征点，继续匹配下一组，否则舍弃匹配对。（2）消除错配：无论采用何种相似性判定度量，都难以得到完全正确的匹配结果。这里利用RANSAC算法去除错误的匹配点对，得到最佳匹配点。通过角点集合的内在约束关系进一步舍弃错误的匹配结果，完成特征点间的精确匹配，提高配准正确率。

5 实验结果及分析

为了检验算法的有效性，选取常见的法兰盘作为匹配对象进行仿真。实验在PC机上进行，硬件环境为Intel Core i3-4150 CPU，3.5GHz，内存4G，软件环境为Windows7操作系统，VS 2010+OpenCV2.4.9。选用db4小波，分解层数2层。针对不同情况对文中提出的改进算法和传统Shi-Tomasi算法实现的图像匹配进行比较分析，匹配结果中用小圆点表示提取的角点，用直线连接表示角点间的匹配关系。

由于篇幅有限，未列出传统算法的匹配结果图，只选取具体说明改进算法的匹配结果，如图1所示。每幅匹配结果中左侧图为模板，右侧为待识别的遮挡工件图像。相关数据，如表1、表2所示。

图1 匹配结果
Fig.1 Matching Results

表1 工件图像的匹配结果（改进算法）
Tab.1 Results of Workpiece-Image Matching（Improved Algorithm）

图像 提取特征点数精匹配点数误匹配点数 匹配率（%）匹配时间（ms）图 1（a） 121 12 1 91.67 303.82图 1（b） 111 25 1 96 284.26图 1（c） 82 11 0 100 201.59图 1（d） 82 11 0 100 212.27图 1（e） 47 12 0 100 167.03图 1（f） 80 11 0 100 231.38

表2 工件图像的匹配结果（传统算法）
Tab.2 Results of Workpiece-Image Matching（Traditional Algorithm）

图像 提取特征点数精匹配点数误匹配点数 匹配率（%）匹配时间（ms）图 1（a） 510 20 4 80 416.16图 1（b） 462 40 3 92.5 403.25图 1（c） 194 24 1 95.83 347.94图 1（d） 202 26 1 96.15 350.87图 1（e） 83 15 0 100 252.43图 1（f） 217 24 2 91.7 310.14

为了检验算法对噪声的适应能力，将遮挡图像加入随机椒盐噪声，并进行对照实验，改进算法匹配结果，如图1（a）、图1（b）所示。对比分析表1、2数据可知，对于噪声影响，传统Shi-Tomasi算法虽然能通过匹配的特征点识别目标工件，但提取的特征点数目较多，而且在噪声干扰下产生较多误匹配。改进算法由于小波变换的平滑去噪作用，提取的特征点数目比传统算法减少约76%，虽然产生少量误匹配点，依然能快速将匹配结果显示出来，所用时间比原算法缩短约28%，误匹配率降低明显。

为了检验算法对旋转变化的适应能力，分别将模板工件顺时针旋转90°，逆时针旋转180°，改进算法匹配结果分别如图1（c）和图1（d）所示。对比分析表1、2数据可知，在旋转变换下，改进算法相对传统算法提取的特征点数目减少约58%，精匹配角点数目约为传统算法的50%，且匹配时间缩短为原来的40%，整个旋转变化的目标识别过程没有产生误匹配。

为了检验算法对尺度变化的鲁棒性，将模板里的工件图像进行放大和缩小，依次变为原来的2倍和1/2，匹配结果分别如图1（e）和图1（f）所示。对比分析表 1、2数据可知，改进算法不受尺度缩放的影响；且针对小尺度匹配，改进算法与传统检测算子相比，提取的角点数量明显要少，匹配正确率100%。两种尺度缩放下所用的时间分别比传统算法缩短约33%和25%，满足实时性要求。

综合以上对比实验可知，在复杂背景条件下，结合小波变换后的Shi-Tomasi算法提取的角点更加稳健，匹配准确率相对传统角点检测算法提高了5%，增强了工件识别的鲁棒性。

6 结语

根据传统图像匹配方法的不足，对基于图像特征点提取的Shi-Tomasi算法进行了研究并给出了一种结合小波变换多尺度分析的工件识别方法。实验结果表明，尽管工件图像存在遮挡、旋转、小尺度变化以及噪声干扰，改进后的算法仍能精准地识别遮挡图像中的工件，有效地提高了匹配的速度和精度。如何更精确快速地完成匹配过程是算法以后研究的方向。

参考文献

［1］王修岩，程婷婷.基于单目视觉的工业机器人目标识别技术研究［J］.机械设计与制造，2011（4）：155-157.（Wang Xiu-yan，Cheng Ting-ting.Research on target recognition of industrial robot based on monocular vision［J］.Machinery Design ＆ Manufacture，2011（4）：155-157.）

［2］王红涛，傅卫平，康业娜.工件图像识别的边缘匹配方法研究［J］.仪器仪表学报，2008，29（5）：986-991.（Wang Hong-tao，Fu Wei-ping，Kang Ye-na.Study of edge-matching approach to workpiece image recognition［J］.Chinese Journal Scientific Instrument，2008，29（5）：986-991.）

［3］陈传峰.基于图像的局部遮挡目标识别关键技术研究［D］.长春：国防科学技术大学，2007.（Chen Chuan-feng.Key technology research for recognition of partially occluded objects［D］.Changchun：National University of Defense Technology，2007.）

［4］王江涛.基于视频的目标检测、跟踪及其行为识别研究［D］.南京：南京理工大学，2008.（Wang Hong-tao.Research on object detection，tracking and behavior recognition in video sequences［D］.Nanjing：Nanjing University of Science and Technology，2008.）

［5］Shi，J，Tomasi，C.Good features to track［J］.Computer Visionamp;Pattern Recognition，1994，84（9）：593-600.

［6］Morevec H P.Towards automatic visual obstacle avoidance［C］.International Joint Conference on Artificial Intelligence.Morgan Kaufmann Publishers Inc，1977：584-584.

［7］Harris C.A Combined Corner and Edge Detector［C］.Alvey Vision Conference，1988：147-151.

［8］Smith S M，Brady J M.SUSAN—A New Approach to Low Level Image Processing［J］.International Journal of Computer Vision，1997，23（1）：45-78.

［9］Lowe D G.Object recognition from local scale-invariant features［C］.Computer Vision，1999.The Proceedings of the Seventh IEEE International Conference on.IEEE，1999（2）：1150-1157.

［10］Paul Viola，Michael Jones.Rapid Object Detection using a Boosted Cascade of Simple Features［J］.Proc.CVPR，2001，2001（1）：511.

Study on Occluded Image Matching Using Shi-Tomasi Algorithm Combined with Wavelet Transform

ZHAO Shuang，YANG Mu-sheng
（School of Machinery Engineering，Shandong University of Technology，Shandong Zibo 255049，China）

Abstract：Partial occlusion or defect has been a common problem in the field of computer vision when it comes to manufacturing industry.A workpiece image matching algorithm based on wavelet transform combined with Shi-Tomasi corner detection was proposed to deal with this problem in practice.With the help of using low-frequency images to participate in matching and filtering high-frequency images in wavelet decomposition，the effect of noise on image is reduced effectively.The common flange plate is chosen as the experimental object to verify the feasibility of the proposed algorithm in a variety of environments.At last，the RANSACalgorithm is used to eliminate the false matching.Experimental results demonstrate that the presented algorithm can not only reduce computation cost for occluded workpiece image matching，exclude pseudo-corner points and improve speed of recognition，but also achieve better matching performance in the respects of noise interference，rotation，zoom scaling.

Key Words：Partial Occlusion；Computer Vision；Image Matching；Wavelet Transform；Corner Detection；Low-Frequency Images

中图分类号：TH16；TP391.4

文献标识码：A

文章编号：1001-3997（2017）11-0118-04

来稿日期：2017-05-17

基金项目：国家自然科学基金项目（50875159）

作者简介：赵 双，（1991-），男，山东青岛人，硕士研究生，主要研究方向：图像处理及理解；杨慕升，（1963-），男，山东潍坊人，博士研究生，教授，主要研究方向：机电控制