基于图像处理的摄像头模组金线缺陷检测方法张舞杰，何广栋，唐柳生 (华南理工大学机械与汽车工程学院，广东 广州 510641) 摘要：为实现对摄像头模组金线的自动化缺陷检测以弥补人工检测的不足，提出一种基于图像处理的摄像头模组金线缺陷检测方法。该方法针对二值化的金线图像采用游程标记方法计算连通域数量，然后利用像素间的八邻接关系计算图像欧拉数，最后根据连通域的面积、数目和欧拉数来确定模组金线缺陷类型。实验结果表明，该方法能够满足摄像头模组金线缺陷检测的要求。 关键词：摄像头模组；金线；缺陷检测；连通域分析；欧拉数；图像处理 自2000年夏普发布第一款可拍照手机以来，内置摄像头逐渐成为手机和平板电脑等电子产品的主要配件[1]。据著名市调公司Gartner调查，2014年全球手机出货量达到18.8亿部，其中带摄像头的智能手机达到12亿部，2015年智能手机出货量达到13.7亿部，预计2018年将达到27亿部的出货量[2]。随着摄像头模组需求量的不断增加及其像素的不断提高，摄像头模组质量的自动化检测显得越来越重要。 CMOS摄像头模组一般是指手机、电脑等智能设备中的摄像头，简称CCM。CCM结构主要包括光学镜头、图元感光元件(sensor)、数字信号处理器(DSP)以及软排线等[3]。其中sensor组件主要将镜头生成的光学信息转换为电信号，经过内部DSP处理转换为数字图像信号后输出为其他设备可用的图像信号[4]。因此sensor处于整个图像采集环节的最顶层，其采集的信号质量将对整个采集过程以及摄像头的成像效果产生决定性的影响。为了保证sensor信号采集的质量，需要在模组装配前发现并及时排除其本身缺陷。sensor缺陷主要包括sensor上有灰尘以及金线焊接存在问题，金线焊接问题主要包括断路、短路、突起、凹陷和孔洞等。目前，由于国内外摄像头模组制造规范不统一， 加之CCM缺陷检测设备被国外企业垄断，国内的CCM缺陷检测主要依赖技术员人工进行，普遍存在成本高、效率低、检测人员容易疲劳和误判率高等问题，已不能适应当前摄像头市场高速发展的需要。为了适应市场需要，提升CCM检测自动化水平，本文提出一种基于图像处理的摄像头模组金线缺陷检测方法，该方法能够精确定位模组中金线的缺陷，对实际生产有一定的指导意义。 1 检测系统组成与工作原理1.1 模组sensor的外形结构 模组sensor的外形结构如图1所示，一般的，智能设备摄像头内部的sensor模块都包含晶圆区和外围金线区，其中外围金线均匀排列在晶圆区周围。生产制造工艺的多样化导致不同类型的摄像头模组中金线的布局有所不同。  图1 摄像头模组Sensor外形构造 如果模组外围金线在焊接过程中存在断路、短路和孔洞等典型缺陷，将会导致整个摄像头模组报废，为了防止存在上述缺陷的模组进入下一个生产环节，必须对模组进行缺陷检测。如果模组晶圆部分没有或者只有极细小的灰尘颗粒，而且金线不存在上述焊接缺陷，则该模组通过检测，继续进行下一步的加工，否则将该模组移至废料存储区，等待下一步的操作。 1.2 检测系统的组成 模组缺陷检测系统结构框架如图2所示，主要由工控机、运动控制系统、光学成像系统和光源控制器等构成。运动控制系统包括多轴运动机械平台、运动控制卡、伺服电机、驱动器和缓存仓等，可实现模组的上下料、运动定位和缓存。光学成像系统主要包括CCD面阵相机、环形光和同轴光组、镜头和光源控制器，其中图像传感器的晶圆Particle(灰尘颗粒)检测采用5 120像素×3 840像素分辨率的黑白相机，考虑到灰尘颗粒的凹凸变化以及图像传感器的特殊材质，光源采用低角度环形光暗场照明；为了将金球、金线和其他部分区分开，金线缺陷检测采用3 856像素×2 764像素分辨率的彩色相机，光源采用同轴光明场照明。相机接口通讯均采用千兆网GigE Vision，镜头均采用12mm的变焦镜头。 1.3 检测系统的工作原理 为了提高检测效率，在系统进行自动缺陷检测前，需要人工辅助定位模组金线的检测区域，从而确定模组所含金线的数目。摄像头模组中金线的焊接缺陷类型一般有断路、短路、孔洞、凹陷和突起等，如图3所示。一般的，金线缺陷信息可以用连通域面积、连通域个数和拓扑欧拉数来进行区分[5]，缺陷特征与标准图特征信息比较见表1。缺陷检测算法首先对已经二值化的金线检测区域进行连通域分析，然后进行欧拉数计算获取各个特征参数值，最终对比表1中的特征信息确定缺陷的类型。  图2 摄像头模组运动控制与视觉系统框架  图3 模组金线缺陷类型 表1 缺陷特征对比分析  序号缺陷特征类型拓扑欧拉数连通域数量单个连通域面积1断路增加增加减少2短路减少减少增加3孔洞增加不变减少4凹陷不变不变减少5突起不变不变增加 在百级无尘实验室条件下进行缺陷检测时，首先通过上料平台将待检CCM运送到检测区域，然后由上位机软件触发CCD相机分别采集晶圆和金线图像，利用图像处理算法对图像晶圆和金线进行缺陷检测，检测完成后将灰尘颗粒坐标信息和金线缺陷信息保存于数据库中,最后由下料机构将无缺陷的模组运送到下游生产线进行组装。晶圆存在灰尘颗粒缺陷的模组进行在线人工清洗后重新检测，重新检测后仍然存在灰尘缺陷的则通过下料机构运送到缓存仓的废料仓中等待处理；将金线存在焊接缺陷的模组直接通过下料机构运送到缓存仓的废料仓中等待处理。 2 游程标记连通域算法连通域标记是将二值图像中单个连通区域中的像素进行标记，不同连通域给予不同的标记，以此来区分不同连通域的一种方法。常用的连通域标记算法有基于像素点的二次扫描、基于游程编码的二次扫描和基于轮廓的标记方法[6]。本研究采用的游程标记连通域算法是一种快速标记连通域方法[7-9]，该算法首先通过对二值图像进行逐行扫描标记前景像素的行程信息，然后对前后两行的行程进行8领域对比得到等价关系，最后利用深度搜索法对等价对进行关系组合获得连通域信息。其中，游程标记采用8连通法进行连通性判断，二值图中每一行连续的前景像素组成的序列构成一个行程。算法步骤如下： 1)游程标记数组的建立。首先对二值图像进行边界值扩展，建立行程动态数组vRunInfo和等价对动态数组vEquivalPair。 typedef struct _RunInfo { int StartPosOfX;//行程起始点横坐标 int EndPosOfX; //行程结束点横坐标 int CurrentPosOfY; //行程纵坐标 int RunIndex;//行程序号 } RunInfo; vector vector<> 2)等价对关系确定。对二值图像按照从上到下、从左到右的顺序进行逐行扫描，遇到每一行中的连通区域时将该行程的坐标信息和行程序号存储在行程动态数组中，并比较当前扫描行与前一行的行程中是否有8邻域重叠，如果有重叠则表示两个行程连通，将前一行重叠行程中的最小行程序号赋予当前扫描行程，并将所有8邻域重叠的行程序号保存在等价对数组中，组成一系列等价关系二维数组。等价关系如图4所示，其中灰色的方格代表背景像素，白色方格代表前景像素。图4中行程编号1和2组成的一组等价对关系为{1,2}，行程3和4则分别属于另外两组等价关系，即不同的连通域。 图4 等价关系图 3)等价序列的处理。获得等价对关系后，利用深度搜索图对等价对数组进行扫描，将所有拥有等价关系的等价对中的行程编号设为唯一的连通标记编号N，然后对剩下未处理的等价对再次进行扫描，第i次扫描具有连通关系的所有等价对则以(N+i)序号标记。扫描结束后，所有等价对分配关系已经确定，各连通区域均拥有不同的编号，如图5所示。 图5 等价对连通处理 拓扑欧拉数[10]是拓扑学里的一个重要特征参数，二值图像中的欧拉数的数学表达式如式(1)所示，式中E为二值图像的欧拉数，C为二值图像中的连通域个数，H为二值图像的孔洞数。SOSSA-AZUELA[11]、林小竹[12]、HE Lifeng [13]等人对欧拉计算进行了一系列的研究，研究的算法对具有大尺寸且连通域较多的二值图像仍有较高的效率。由于本文中的金线缺陷检测设定了最小检测区域，而且连通域和孔洞数量有限，因此采用式(2)所示的欧拉定理[14]在八邻接中计算模组金线的欧拉数。 E=C-H (1) E=V-Q+F (2) 式中：V为检测模组二值图像中的所有前景像素点；Q为前景像素点与八邻接关系形成的不重复边数；F为前景像素点与八邻接关系形成的不重复面。通过逐行扫描检测区域，获得当前检测区域的像素点数V、边数Q和面数F，即可求得金线连通域的欧拉数E。 通过游程标记求得二值图像的连通域后，分别对各个连通域进行像素点统计，从而得到各个连通域的面积。为了减少检测缺陷信息的代码量，并提高检测的稳定性和效率，本文采用分步判别缺陷的方法，具体如下：从表1缺陷特征信息可知，通过连通域数量的变化可以直接确定金线的短路和断路特征，若连通域数量不变，则可通过比较单个连通域面积直接确定金线的突起特征，拓扑欧拉数增加可确定是孔洞，单个连通域面积减少、拓扑欧拉数不变则可确定是凹陷特征。本文采用的模组金线缺陷检测优化算法流程如图6所示。 图6 模组金线缺陷检测优化算法流程 对市场上的主流摄像头模组，利用图像处理算法获取的金线检测区域如图7所示。检测区域进行图像二值化后，可能会存在由噪声或矫正误差引起的虚假缺陷，如图8所示，必须对图像进行形态学开运算处理来消除虚假缺陷的影响，如图9所示。最后根据本文所述算法对形态学开运算后的金线图像进行连通域和欧拉数计算，结果如图10所示。 图7 金线检测区域划分 图8 金线检测区域二值化 图9 金线检测区域开运算 图10 金线检测区域连通域 为了验证本文缺陷检测算法的准确性和效率，选取10组金线缺陷样品进行缺陷测试，采用OpenCV图像库中的计时函数cvGetTickCount()计算算法耗时，并与金相显微镜下检测的结果进行比较，结果见表2。结果表明，采用本文所述算法能准确检测出金线缺陷的特征信息，并且耗时较少，满足设备的生产要求。 表2 金线缺陷特征检测 试验编号图像算法系统检测和耗时缺陷特征检测检测耗时/ms金相显微镜检测1断路、短路90.7170断路、短路2断路、孔洞121.8640断路、孔洞3突起95.0510突起4断路102.9550断路5短路、孔洞、凹陷110.0387短路、孔洞、凹陷6短路94.8363短路7无92.2596无8凹陷111.0070凹陷9短路、凹陷106.3770短路、凹陷10无95.3523无 针对金线可能出现的焊接缺陷，本文依据金线特征设计了光学成像系统，通过提取金线局部区域进行检测以提高检测效率。使用游程标记算法计算区域连通域，分析比较了金线的缺陷特征类型，采用优化后的算法流程对缺陷特征进行提取。实验表明，本文所用算法能够精确识别金线的各类缺陷特征信息，并且检测效率高，能够满足高效率生产需求。采用连通域标记和拓扑欧拉数检测缺陷特征的方法为检测更多的金线缺陷奠定了基础。 参考文献： [1] 谢忠强.手机摄像头发展历程与未来趋势展望[J].中国科技纵横,2011(22):94. [2] 叶钟灵.手机改变世界(1)[J].电子产品世界,2015(5):5-7. [3] 梁雄,张舞杰,李听听.一种基于Blob分析的摄像头模组缺陷检测方法[J].电子设计工程,2015(15):19-22. [4] 徐江涛,姚素英,朱天成.CMOS有源像素传感器光响应分析及实验模型建立[J].传感技术学报,2007(2):334-337. [5] 姚舟波.印刷电路板光板和贴片组件检测系统的研究[D].成都：西南交通大学,2008. [6] 沈乔楠,安雪晖.基于游程递归的连通区域标记算法[J].计算机应用,2010,30(6):1616-1618. [7] SUZUKI K,HORIBA I,SUGIE N.Linear-time connected-component labeling based on sequential local operations[J].Computer Vision & Image Understanding,2003,89(1):1-23. [8] HE Lifeng,CHAO Yuyan,SUZUKI K.A run-based two-scan labeling algorithm[J].IEEE Transactions on Image Processing,2007,17(5):749-756. [9] 徐利华,陈早生.二值图像中的游程编码区域标记[J].光电工程,2004,31(6):63-65. [10] JUAN LUIS DIAZ-DE-LEON S，JUAN HUMBERTO SOSSA-AZUELA.On the computation of the Euler number of a binary object[J].Pattern Recognition,1996,29(3):471-476. [11] SOSSA-AZUELA J H,SANTIAGO-MONTERO R,PEREZ-CISNEROS M,et al.Computing the Euler number of a binary image based on a vertex codification[J].Journal of Applied Research & Technology,2013,11(3):360-369. [12] 林小竹,籍俊伟,谷莹莹.图像欧拉数的研究与应用[J].石油化工高等学校学报,2007,20(2):88-91. [13] HE Lifeng,CHAO Yuyan.A very fast algorithm for simultaneously performing connected-component labeling and Euler number computing[J].Image Processing IEEE Transactions on,2015,24(9):2725-2735. [14] 冈萨雷斯,伍兹.数字图像处理[M].阮秋琦，阮宇智，译.北京：电子工业出版社,2011. ZHANG Wujie,HE Guangdong,TANG Liusheng (School of Mechanical & Automotive Engineering, South China University of Technology,Guangdong Guangzhou,510640,China) Abstract：In order to make up for the inadequacy of artificial detection and realize the automatic detection of camera module line,it proposes a detection method of camera module line based on image processing.Using the run-based labeling for the binary image of lines,it designs the algorithm to calculate the number of connected-component,and computes the Euler Number based on the 8-neighboring relations pixels.According to the Euler number and the connected- component's area and number,it obtains the defect types of camera module gold line.Experimental result shows that the algorithm can reach the line's defect detection requirement. Key words：camera module; gold line; connected-component analysis; Euler number; defect detection DOI：10.3969/j.issn.2095-509X.2017.01.020 收稿日期：2016-11-06 基金项目：广东省高新区发展引导专项(2011B010700001)；粤港共性技术项目(2013B010134010)；国家科技支撑计划资助项目(2015BAF20B01)；广东省科技计划资助项目(2011B010300002) 作者简介：张舞杰(1970—)，男，湖南长沙人，华南理工大学副教授，主要从事图像处理、模式识别、过程监控和嵌入式装备控制等研究。 中图分类号：TP273+.5 文献标识码：A 文章编号：2095-509X(2017)01-0094-05 |
|
|
