基于图像配准的药用玻璃瓶印刷字缺陷检测

基于图像配准的药用玻璃瓶印刷字缺陷检测

王星1，刘朝英1，宋雪玲1，郝存明2

（1.河北科技大学，石家庄 050000；2.河北省科学院，石家庄 050000）

摘要：目的 准确检测出药瓶印刷字的缺陷。方法 采用目前流行的SIFT特征点提取算子，选用欧氏距离进行初匹配，RANSAC进行精确匹配。结果 药瓶在传送过程中不管发生怎样变化，都能被检测出其印刷字的缺陷，成功剔除不合格药瓶。结论 实验结果表明该方法能够精确地提取图像特征点，准确地匹配图像特征点对。

关键词：SIFT算子；特征点提取；图像匹配；图像配准；药用玻璃瓶；印刷字；缺陷检测

目前药用玻璃瓶生产企业对药瓶的检测主要是裂纹、气泡、缺口、规格尺寸等，这些检测固然重要，但是玻璃瓶上的印刷字检测也是重要的研究方面之一。虽然此项目研究未见和报道，但是印刷字的缺陷同样影响玻璃瓶的外观和销售。此外国家逐步加大对药品、食品安全的重视，为防止药厂对过期药品从新灌装，逐步将药瓶印字工作放到药包生产企业来完成，因此药瓶印字检测也成为企业急需检测的项目所以需要开发一套药瓶印刷字质量检测系统。在药瓶检测系统中，由于机械震动、定位精度、噪声等的影响，采集到的待配准图像相对于基准图像来说，会发生位置的变化，如平移、旋转。为了对待配准图像和基准图像做后续的对比检测，首先要把2幅图像做位置空间上的对准，这就是所谓的图像配准。图像配准就是一种将2幅图像经过空间位置对齐，再进行对比与分析的图像处理技术。图像配准技术最早在应用在美国军事上，20世纪80年代后，随着科学技术不断进步，在很多领域都有图像配准技术的研究，例如遥感图像处理、模式识别、医学、计算机视觉、定位导航等[1]，因此图像配准的研究是大势所趋，并且为药用玻璃瓶印刷字的缺陷检测提供了很好的研究平台。

图像配准是图像处理领域中一个重要的问题，文中选用了最常见的基于特征的图像配准方法[2]，对于不同特性的图像，选择图像中容易提取并能够在一定程度上代表待配准图像相似性的特征作为配准依据。该方法计算简单、稳定性好、对噪声有抵抗性、不受几何形变的影响。特征点提取算子中目前应用较广泛的有基于图像灰度自相关的兴趣点算子、SUSAN算子、Harris算子、SIFT 算子[3—6]。

药用玻璃瓶印刷字的缺陷检测系统选择了特征点提取精度高的SIFT特征点检测算子[7]。SIFT算子是David G.Lowe教授在1999年提出的一种基于图像局部特征的描述子，并且于2004年对该算法作了完善[8]。完善后的 SIFT算子对图像发生平移、旋转等变化都具有一定的稳定性，并且对噪音的干扰也有一定的抵抗性[9]。文中将此方法应用到药用玻璃瓶印刷字检测系统中，提取图像特征点，再利用空间坐标变换、差分图像等来判断药瓶是否在合格的阈值内，以此能够有效地剔除掉不合格的药瓶，达到理想的实验效果。

1 SIFT特征点检测算子

1.1 尺度空间极值提取

通过高斯核对原始图形进行尺度变换，得到多尺度下的表示序列。对这些序列在多尺度下提取特征，实现尺度变化的唯一变换核是高斯核[10]。高斯核 G（x,y,σ）表达式为：

式中：σ为尺度空间因子，该值的大小代表了图像被平滑的程度，该值越小说明被平滑的程度越小，反之越大；e为自然常数。一幅图像的尺度空间

L（x,y,σ）可以由图像和高斯核卷积得到：

为了有效地在尺度空间检测到稳定的关键点，需要构造高斯差分金字塔（DOG）。通过对相邻两尺度空间的函数作差并同图像卷积得到差分尺度空间。

G（x,y,σ）用来表示高斯差值方程：

DOG尺度空间金字塔建好后，需找到DOG图像的极值点。中间层的每个像素点需要同与其同层相邻的8个像素点以及周围上下2层18个像素点总共26个像素点进行对比，以此来检测出高斯差分金字塔空间的最大值和最小值，找到的点如果大于（或小于）此26个点时，该采样点才能为极值点，并进行下一步计算。

1.2 特征点位置的确定

由上一步得到的特征点称为候选点为了得到稳定的特征点，需要将一些对比度低的点（这些点响应值较小，容易受噪声影响，因此会影响SIFT特征点的抗噪能力）和一些边缘上的点（这些点有较强的响应值，一旦有特征点落在上面位置就很难确定，对SIFT特征点的稳定性有影响）剔除掉。

1.3 确定特征点主方向

为了实现图像的旋转不变性，需要以极值点为中心，将其所在邻域图像梯度的方向和位置旋转一个角度。

每个高斯图像特征点的梯度值和梯度方向见式（4—5），在完成特征点梯度计算后，需用直方图来统计领域内像素的梯度值和梯度方向。直方图的横轴代表梯度方向，纵轴代表每个特征点的梯度值的累加值。梯度直方图的峰值代表了该特征点处领域梯度的主方向，即作为该特征点的主方向。

1.4 生成SIFT特征向量

以特征点为中心，在其周围领域选取一个 8×8的窗口，然后在每个4×4的窗口中计算所有像素的梯度值和梯度方向，并且将梯度值累加分配到8个方向上，形成一个种子点。一个特征点由2×2共4个种子点组成，每个种子点有8个方向的向量信息，可形成2×2×8维的SIFT特征点。实际计算过程中，文献[11]建议将特征区域划分为4×4个方格，每个方格有一个8方向的种子点，所以此特征区域就有128维的SIFT特征点。此时的特征向量很稳定，不受其他因素的影响，再继续将特征向量尺度归一化，进而能减少灰度差异带来的影响。

2 图像匹配

SIFT特征向量生成后，通常情况下使用关键点特征向量的欧式距离来作为 2幅图像中关键点的相似性判定度量（2幅图像的初匹配）[12]。即选取基准图像中的某个关键点，并找出其与待配准图像中欧氏距离最近的前2个关键点，在这2个关键点中，如果最近距离除以次近距离小于某个比例阈值，就认为此匹配点对符合要求[13]。

在图像精确匹配部分，采用 RANSAC[14]的去外点方法剔除误匹配点。RANSAC是一种经典的去外点方法，通过利用特征点集合中的内在约束关系来剔除错误的匹配，具体的匹配过程为：首先随机选择2个点，这2点确定一条直线，将此直线一定距离范围内的点称为此直线的支撑，随机选择重复次数，最后具有最大支撑集的直线被确定为是此样本点集合的拟合，在拟合距离范围内的点被认为是内点，反之为外点。RANSAC算法稳定、可靠、精度高，对噪声和特征点的提取有很强的鲁棒性，剔除误匹配点的能力较好。

精确匹配后，进行图像配准，图像配准的过程就是找到最优匹配点对间的变换参数。再根据变换参数建立一个基准图像与待配准图像之间的转换关系，将待配准图像变换到基准图像的坐标系中，最后得到配准图像。配准图像的空间坐标与基准图像相同，在对应的坐标位置与待配准图像的像素值一一对应。

3 实验与分析

3.1 药用玻璃瓶在线检测系统整体结构设计

对机器视觉技术来讲，从系统工作方式上分为面阵系统和线阵系统2类。面阵系统使用面广，在各种小尺寸产品、图像检测分辨率低、采集速度慢的场合得到广泛应用。随着产品尺寸增大、采集速度增加，如印刷品检测，面阵工作方式越来越难以满足要求，因此必须采用线阵系统工作。由于小剂量药用玻璃瓶瓶身尺寸较小，产量较大，而且检测速度要求较高，面阵系统检测设备受到限制。为了更好满足厂家实际要求，丰富检测产品，文中采用线阵系统，因地制宜的开发了一套检测系统。药用玻璃瓶印刷字缺陷检测程序的工作界面见图1，在该界面下嵌有文中采用的SIFT特征点匹配算法，对药用玻璃瓶印刷字进行缺陷检测。

图1 药用玻璃瓶印刷字缺陷检测程序主界面
Fig.1 The program main interface of medicinal glass bottle’s printed word defect detection

药用玻璃瓶的印刷字质量检测系统的总体结构见图2，按功能可以分为3部分：机械结构单元（传送链、伺服电机、步进电机、气缸、机械框架等）、图像采集和处理单元（光源、线阵相机、PC机）、控制单元（PLC、驱动器）。

图2 药用玻璃瓶印刷字质量检测系统整体结构
Fig.2 The whole structure of medicinal glass bottle’s printed word quality detection system

文中以PC机为核心，通过传送运动控制装置定位被测物体，同时采用PLC控制步进电机使药用玻璃瓶沿固定轴线匀速旋转，最后由线阵相机采集药用玻璃瓶外观成像并送入PC机处理。PC机的主要任务是控制相机采集图像并完成图像处理与分析，以达到检测玻璃瓶外观的目的。传送运动控制装置的任务主要是完成药瓶匀速同轴转动。

在线检测的具体操作流程为：先按复位（传送带复位、压瓶气缸复位、踢瓶气缸复位），复位完成以后，按启动按钮，触发传感器接收来自生产线的触发信号，药瓶到达传送位置，PLC开始控制伺服电机带动链条传动（链条每传动1次走1个节距的距离）。药瓶到达检测工位，传动链停止转动，压瓶气缸下压，氟胶圈压紧药瓶，步进电机带动氟胶圈开始转动，同时给工控机发送线阵相机拍照信号。当药瓶刚好旋转360°，步进电机停止旋转，相机停止拍照，压瓶气缸复位。线阵相机将采集的图像传送到工控机，进行图像处理，经过检测软件处理判断，工控机将检测结果通过串口发送给PLC，合格的药瓶进入码瓶装置，不合格的通过踢瓶气缸进行踢出。该图像处理技术涉及的主要方法为基于特征的图像配准，该算法流程见图3。根据图像配准算法的结果来判定药瓶合格与否，合格进入码瓶机，不合格则由踢瓶气缸踢出。药用玻璃瓶印刷字缺陷检测系统工作流程见图4。

图3 图像配准的流程
Fig.3 The working flow of image registration

3.2 比较与分析

为了验证算法的优劣性，下面进行真实的药用玻璃瓶印刷字的在线检测实验。实验环境：双核处理器（2.5 GHz，睿频可达3.1 GHz），1 GB独立显存，4 GB DDR3内存，Matlab R2010a的仿真环境。在线检测过程中，药瓶在传送过程中可能会发生平移、旋转、平移和旋转、噪声的影响。

利用SIFT算法分别在这4种情况下提取待配准图像的特征点，提取情况见图5。由4幅图像也可以看出SIFT算子检测的特征点大部分能被提取出来，分布较均匀，误检测点较少。药瓶的平移、旋转、平移和旋转、加噪等对检测的影响都不大，检测效果较好。

图4 药用玻璃瓶印刷字系统检测工作流程
Fig.4 The working flow of medicinal glass bottle’s printed word detection system

图5 特征点提取图像
Fig.5 The image of feature point extraction

利用正确匹配率作为图像匹配情况的标准，评价匹配正确率的标准为图像发生变化后，图像特征点仍能够正确匹配，则说明匹配方法较好。正确匹配率越高，说明算法的匹配效果越好，检测缺陷药瓶的精度就越高，反之精度越低。

SIFT特征点匹配情况分析为药用玻璃瓶在传送带上传送的过程中会发生各种变化或受到外界影响。利用 SIFT算子提取特征点见图 6，欧氏距离进行初匹配，再利用RANSAC进行精确匹配后分别得到的匹配图像，这些图像分别是基准图像与平移后图像匹配图、基准图像与旋转后图像匹配图、基准图像与平移和旋转后图像匹配图、基准图像和加噪后图像匹配图。通过图6a, c, d可以看出，大部分特征点对能被正确的匹配（图 6中平行的直线），但还有误匹配的点对（图6中的相交直线）[15]，通过图6b可看出全部的特征点对被正确匹配（图 6平行的直线），无相交的直线。图像平移、旋转、平移和旋转、加噪等变化后匹配性能比较见表1，基准图像和待配准图像的特征点提取是通过SIFT算子的4步（尺度空间极值提取、特征点位置的确定、确定特征点主方向、生成SIFT特征向量）来确定的，经过每一步的筛选得到特征点，可提取出基准图像的特征点数为 651个，待配准图像的特征点个数分别为432, 725, 489, 726。在图像匹配过程中，选用欧氏距离进行初匹配，RANSCA进行精确匹配，经过步步筛选，选出最优的匹配点对。由表1可知，无论图像怎么变化，SIFT算法正确匹配率都在 80%以上，正确匹配率很高。

图6 匹配图像
Fig.6 Matching image

表1 SIFT 算法的匹配性能
Tab.1 The matching performance of SIFT algorithm

条件提取特征点个数 匹配对数/错误对数基准图像待配准图像正确匹配率/%平移432 50/3 94旋转 725 60/0 100平移旋转 489 65/2 96.9加噪 726 57/10 82.5 651

通过分析匹配正确率实验的结果可以看出利用SIFT与欧氏距离相结合的匹配算法的正确匹配率都在80%以上。药用玻璃瓶印刷字的缺陷检测目前还在试验阶段，生产企业对其要求还不太高，80%的正确匹配率已能满足要求，因此文中选用了SIFT算法。

通过SIFT算法匹配后，可以找到这些匹配点对之间的对应关系，然后根据对应关系求得2幅图像间的空间变换参数，待配准图像再通过变换参数进行坐标变换得到配准图像，见图7。将配准图像与基准图像作差后得到差分图像，见图 8。2幅图像作差削减掉图像的相同部分，留下2幅图像的不同的部分。

判断药瓶印刷字合格的标准为根据剩下不同部分的像素个数与原图像像素个数的比值作为判断药瓶印刷字是否合格的标准。如果比值在厂家设定的阈值范围内，则药瓶印刷字合格，否则不合格。

图7 配准图像
Fig.7 Registration image

图8 差分图像
Fig.8 Difference image

4 结语

详细介绍了SIFT算法的检测原理和步骤，可知SIFT算子使用 128维的特征向量使图像的特征点更准确、稳定。将该算法应用到药用玻璃瓶印刷字检测系统中可达到理想的检测效果。较高的正确匹配率可选出更精确的匹配对，使得空间变换参数更精确，再通过配准图和差分图像判断药瓶是否在合格的阈值内，不在阈值内的药瓶被剔除，实现了实际生产中不合格药瓶被剔除的目的。

参考文献：

[1]汪淑梦. 基于改进的SIFT算法的图像配准技术的研究与实现[D]. 北京: 中国地质大学, 2013.WANG Shu-meng. Research and Realization of Image Registration Based on Improved SIFT Algorithm[D].Beijing: China University of Geosciences, 2013.

[2]姚宇. 基于特征点提取的图像配准技术及应用[D].长沙: 国防科技大学, 2010.YAO Yu. Image Registration and Application Based on Feature-point Detection[D]. Changsha: National University of Defense Technology, 2010.

[3]MORAVEC H P. Towards Automatic Visual Obstacle Avoidance[C]// In Proceedings of the Fourth Alvey Vision Conference, 1998: 147—151.

[4]GAO C, ZHU H J, GUO Y C. Analysis and Improvement of SUSAN Algorithm[J]. Signal Processing,2012, 92(10): 2552—2559.

[5]HARRIS C J, STEPHENS M. A Combined Corner and Edge Detector[C]// Proceedings of the 5th International Joint Conference on Artificial Inteligence, 1977.

[6]LOWE D. Distinctive Image Features from Scale-invariant Joumal on Comuter Keypoints[J]. International Vision, 2004, 60(2): 91—110.

[7]敖丽霞. 基于图像处理的印刷品缺陷在线检测系统研究[D]. 南昌: 南昌大学, 2014.AO Li-xia. Research on Real-time Defect Detection of Presswork System Based on Image Processing[D].Nanchang: Nanchang University, 2014.

[8]冯嘉. SIFT算法的研究和改进[D]. 吉林: 吉林大学,2010.FENG Jia. The Research and Improvement of SIFT Algorithm[D]. Jilin: Jilin University, 2010.

[9]赵亚萌. 基于改进SIFT的多波段遥感影像自动快速配准方法研究与应用[D]. 开封: 河南大学, 2013.ZHAO Ya-meng. Research and Application of Automatic and Fast Multi-band Remote Sensing Image Registration Method Based on Improved SIFT[D].Kaifeng: Henan University, 2013.

[10]罗文超, 刘国栋, 杨海燕. SIFT和改进的 RANSAC算法在图像配准中的应用[J]. 计算机工程与应用,2013, 49(15): 147—156.LUO Wen-chao, LIU Guo-dong, YANG Hai-yan. Application of SIFT and Advanced RANSAC Algorithm on Image Registration[J]. Computer Engineering and Applications, 2013, 49(15): 147—149.

[11]FAUGERAS O, ROBERT L. What Can Two Images Tell Us about the Third One[C]// Proceedings of the Europe Conference on Computer Vision, Sweden, 1994.

[12]沈元. 基于改进的SIFT算法图像匹配的研究[D]. 天津: 河北工业大学, 2013.SHEN Yuan. Improved SIFT Algorithm for Image Matching Research[D]. Tianjin: Hebei University of Technology, 2013.

[13]刘辉, 申海龙. 一种基于改进 SIFT算法的图像配准方法[J]. 微电子学与计算机, 2014, 31(1): 38—42.LIU Hui, SHEN Hai-long. Image Match Method Based on Improved SIFT Algorithm[J]. Microelectronics &Computer, 2014, 31(1): 38—42.

[14]李柏林. 基于特征点图像拼接的配准算法研究[D].天津: 天津大学, 2008.LI Bo-lin. Study of Registration Algorithm in Image Mosaic Based on Key Points[D]. Tianjin: Tianjin University, 2008.

[15]仲明. 基于特征点精确配准的图像拼接技术的研究[D]. 上海: 华东师范大学, 2015.ZHONG Ming. The Research of Image Mosaic Technology Based on Accurate Registration of Feature Points[D]. Shanghai: East China Normal University, 2015.

Printed Word Defect Detection of Medicinal Glass Bottle Based on the Image Registration

WANG Xing1, LIU Chao-ying1, SONG Xue-ling1, HAO Cun-ming2
(1.Hebei University of Science and Technology, Shijiazhuang 050000, China;2.Hebei Academy of Sciences, Shijiazhuang 050000, China)

ABSTRACT: The work aims to accurately detect the defects of printed words on the medicinal glass bottles. The currently popular SIFT feature point extraction operator was adopted. Then, the Euclidean distance was used for the initial matching, and the RANSAC was used for the exact matching. In the transmission process, no matter how the medicinal bottle changed, the defects of the printed words could be detected. Thus, the unqualified medicinal bottles could be successfully removed. The experiment results show that this method can accurately extract the image feature points and match the image feature point pairs.

KEY WORDS: SIFT algorithm; feature point extraction; image matching; image registration; medicinal glass bottles printed words; defect detection

中图分类号：TB487；TP391

文献标识码：A

文章编号：1001-3563(2017)21-0180-06

收稿日期：2017-04-24

基金项目：国家自然科学基金（2016018935）

作者简介：王星（1991—），女，河北科技大学硕士生，主攻机器视觉。

通讯作者：刘朝英（1958—），女，河北科技大学教授，主要研究方向为过程控制、智能控制。