码垛与搬运机器人工作站系统及应用Stack Robot第四章 码垛与搬运机器人应用核心技术4.3 视觉技术4.3.1 机器视觉技术4.3.
2 机器视觉系统的组成4.3.3 图像处理技术4.3.4 工业机器人视觉伺服系统4.3.5 机器人视觉的应用第四章 码垛与搬运机
器人应用核心技术学习目标视觉传感器4.3 视觉技术 视觉技术 为了使机器人能够胜任更复杂的工作，机器人不
但要有更好的控制系统，还需要更多地感知环境的变化。其中机器人视觉以其可获取的信息量大、信息完整而成为机器人最重要的感知功能。4.3
.1 机器视觉技术机器视觉技术 机器视觉（machine vision）技术是一门涉及人工智能、神经生物学、心理物理学
、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉主要用计算机来模拟人的视觉功能，但其并不仅仅是人眼的简单延伸，更重要
的是具有人脑的一部分功能——从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。4.3.1 机器视觉技术
发展情况 美国制造工程协会（SME，Society of Manufacturing Engineers）机器视觉分
会和美国机器人工业协会（RIA，Robotic Industries Association）的自动化视觉分会对机器视觉的定义为：
机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人的运动。4.3.1 机器
视觉技术 20世纪70年代，出现了一些实用性的视觉系统，应用于集成电路生产、精密电子产品装配、饮料罐装质量的检验等。到
了80年代后期，出现了专门的图像处理硬件，人们开始系统地研究机器人视觉控制系统。在90年代，随着计算机功能的增强及其价格的下降，以
及图像处理硬件和CCD摄像机的快速发展，机器人视觉系统研究吸引了越来越多的研究人员。90年代后期，视觉伺服控制技术在结构形式、图像
处理方法、控制策略等方面都有了长足的进步。4.3.1 机器视觉技术 机器人视觉技术伴随计算机技术、现场总线技术的发展日
臻成熟，目前已是现代加工制造业不可或缺的一项技术，广泛应用于食品和饮料、化妆品、制药、建材和化工、金属加工、电子制造、包装、汽车制
造等行业。例如印制电路板的视觉检查、钢板表面的自动探伤、大型工件平行度和垂直度测量、容器容积或杂质检测、机械零件的自动识别分类和几
何尺寸测量等，都用到了机器视觉技术。此外，在许多用其他检测方法难以奏效的场合，利用机器视觉系统都可以有效地完成检测。机器视觉技术的
应用，使得机器工作越来越多地代替了人的劳动，这无疑在很大程度上提高了自动化水平和检测系统的智能水平。4.3.1 机器视觉技术系统特
点 机器视觉系统的特点如下： 1）精度高，优秀的机器视觉系统能够对1000个或更多目标中的一个进行空间测量
。因为此种测量不需要接触目标，所以对目标没有损伤和危险，同时由于采用了计算机技术，因此具有极高的精确度。 2）连续性，
机器视觉系统可以使人们免受疲劳之苦。因为没有人工操作者，也就没有了人为造成的操作变化。4.3.1 机器视觉技术 3）灵
活性，机器视觉系统能够进行各种不同信息的获取或测量。当应用需求发生变化以后，只需对软件做相应改变或升级就可适应新的需求。
4）标准性，机器视觉系统的核心是视觉图像技术，因此不同厂商的机器视觉系统产品的标准是一致的，这为机器视觉的广泛应用提供了极大的
方便。4.3.2 机器视觉系统的组成机器视觉系统组成 机器视觉系统是通过机器视觉传感器抓取图像，然后将该
图像传送至处理单元，通过数字化处理，根据像素分布和亮度、颜色等信息，进行尺寸、形状、颜色等的判别，进而根据判别的结果来控制现场设备
动作的系统。4.3.2 机器视觉系统的组成 以汽车整车尺寸机器视觉测量系统为例，如下图所示，其工作过程为：车辆驶入检测
位置停车，位置传感器感知该信息，并给出一个触发信号，使计算机启动机器视觉系统，控制灯光系统，通过CCD/CMOS图像传感器与图像采
集卡采集被测车辆的图像，然后由软件系统执行程序、处理采集到的图像数据，将处理结果发送给数据库服务器或进行打印。汽车整车尺寸机器视觉
测量系统4.3.2 机器视觉系统的组成 由此可见，机器视觉系统一般由照明系统、视觉传感器、图像采集卡、图像处理软件、显
示器、计算机、通信（输入/输出）单元等组成，各部分之间的关系如下图所示。机器视觉系统的组成4.3.2 机器视觉系统的组成1、视觉传
感器 视觉传感器是将景物的光信号转换成电信号的器件。大多数机器视觉都不必通过胶卷等媒介物，而是直接把景物摄入，即将视觉
传感器所接收到的光学图像转化为计算机所能处理的电信号。通过对视觉传感器所获得的图像信号进行处理，即得出被测对象的特征量（如面积、长
度、位置等）。4.3.2 机器视觉系统的组成功能 视觉传感器具有从一整幅图像中捕获数以千计的像素的功能。
图像的清晰和细腻程度通常用分辨率来衡量，以像素数量表示。在捕获图像之后，视觉传感器将其与内存中存储的基准图像进行比较，以做出分析与
判断。 目前，典型的光电转换器件主要有CCD图像传感器和CMOS图像传感器等固体视觉传感器。固体视觉传感器又可以分为一
维线性传感器和二维线性传感器，目前二维线性传感器所捕获图像的分辨率已可达4000像素以上。固体视觉传感器具有体积小、重量轻等优点，
因此应用日趋广泛。4.3.2 机器视觉系统的组成 1）CCD图像传感器 CCD图像传感器是目前机器视觉系统
最为常用的图像传感器。它集光电转换及电荷存储、电荷转移、信号读取功能于一体，是典型的固体成像器件。它存储由光或电激励产生的信号电荷
，当对它施加特定时序的脉冲时，其存储的信号电荷便能在CCD图像传感器内定向传输。如下图所示为CCD图像传感器实物图，如下图所示即为
CCD图像传感器的原理图。CCD图像传感器CCD图像传感器原理图4.3.2 机器视觉系统的组成 工作原理 CCD图像传
感器内部P型硅衬底上有一层SiO2绝缘层，其上排列着多个金属电极。在金属电极上加正电压，电极下面产生势阱，势阱的深度随电压变化。如
果依次改变在电极上的电压，则势阱随着电压的变化而移动，于是注入势阱中的电荷发生转移。通过电荷的依次转移，将多个像素的信息分时、顺序
地取出来。在CCD图像传感器中，电荷全部被转移到输出端，由一个放大器进行电压转变，形成电信号，然后被读取。4.3.2 机器视觉系统
的组成 传输电荷时，电荷是从不同的垂直寄存器中被传到水平寄存器中的，会有不同电压的电荷，这会产生更大的功耗。由于信号通
过一个放大器进行放大，产生的噪声较小。同摄像管相比，CCD图像传感器具有尺寸小，工作电压低（直流7~9V），使用寿命长，坚固、耐冲
击，信息处理容易和在弱光下灵敏度高等特点，广泛应用于工业检测和机器人视觉系统。CCD图像传感器主要有线型CCD图像传感器和面型CC
D图像传感器两种类型。4.3.2 机器视觉系统的组成 典型的CCD摄像机由光学镜头、时序及同步信号发生器、垂直驱动器、
模/数信号处理电路组成，其工作原理如下图所示：被摄物体反射光线，传播到镜头，经镜头聚焦到CCD芯片上，CCD芯片根据光的强弱聚集相
应的电荷，经周期放电，产生表示一幅幅画画的电信号，经过滤波、放大处理，通过摄像头的输出端一个标准的复合视频信号。CCD 摄像机工作
原理4.3.2 机器视觉系统的组成 2）CMOS传感器 CMOS是互补性氧化金属半导体，CMOS传感器由集
成在一块芯片上的光敏元阵列、图像信号放大器、信号读取电路、A/D转换电路、图像信号处理器及控制器构成，它具有局部像素的编程随机访问
功能。目前，CMOS图像传感器以其良好的集成性、低功耗、宽动态范围和输出图像几乎无拖影等特点而得到广泛应用。CMOS的每个像素点有
一个放大器，而且信号时直接在最原始的时候转换，读取更加方便。其传输的是已经经过转换的电压，所以所需的电压和功耗更低。但是由于每个信
号都有一个放大器，产生的噪声较大。如下图所示为CMOS图像传感器实物图。CMOS图像传感器实物图4.3.2 机器视觉系统的组成2、
图像采集/处理卡 图像采集卡是机器视觉系统的重要组成部分，其主要功能是对摄像机输出的视频数据进行实时的采集，并提供与P
C的高速接口。图像采集卡主要完成对模拟视频信号的数字化过程。基本技术参数包括：输入接口、灰度等级、分辨率、带宽、传输速率。3、光源
光源是影响机器视觉系统输入的重要因素，因为它直接影响输入数据的质量和应用效果。由于没有通过的机器视觉照明设备，所以针
对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。4.3.2 机器视觉系统的组成4、计算机 计算机是机器视觉
的关键组成部分，由视觉传感器得到的图像信息要由计算机存储和处理，根据各种目的输出处理后的结果。由于在制造现场中，经常有振动、灰尘、
热辐射等，所以一般需要工业级的计算机。除了通过显示器显示图形之外，还可以用打印机或绘图仪输出图像。4.3.3 图像处理技术图像处理
技术 图像处理技术又称为计算机图像处理技术，是指将图像信号转换成数字信号并利用计算机对其进行处理的技术。常用的图像处理
方法包括图像增强、图像平滑、边缘锐化、图像分割、图像识别、图像编码与压缩等。在图像处理中，输入的是质量低的图像，输出的是改善质量后
的图像。对图像进行处理，既可改善图像的视觉效果，又便于计算机对图像进行分析、处理和识别。4.3.3 图像处理技术1、图像增强
图像增强用于调整图像的对比度，突出图像中的重要细节，改善视觉质量。通常采用灰度直方图修改技术进行图像增强。4.3.3 图像
处理技术2、图像平滑 图像平滑处理技术即图像的去噪声处理技术，噪声会恶化图像质量，使图像变得模糊、特征不
清晰。去噪声，主要是为了去除实际成像过程中，因成像设备和环境所造成的图像失真，提取有用信息，恢复原始图像，这是图像处理的一个重要内
容。4.3.3 图像处理技术3、边缘锐化 边缘锐化是将图像分成若干部分，每一部分对应于某一物体表面，在进行
分割时，每一部分的灰度或纹理符合某一种均匀测量度量标准。其本质是将像素进行分类，把人们对图像感兴趣的部分或目标从图像中提取出来，以
进行进一步的分析和应用。4.3.3 图像处理技术4、图像识别 图像识别过程实际上可以看做一个标记过程，即利用识
别算法来辨别景物中已分割好的各个物体，给这些物体赋予特定的标记，它是机器视觉系统必须完成的一个任务。4.3.3 图像处理技术5、图
像编码与压缩 图像编码与压缩是图像数据存储与传输中的一项重要技术。就是在传输过程为了加快传输速度，对图像
数据进行压缩，减小图像大小，加快传输速度。数据压缩主要通过对图像数据的编码和变换压缩实现。4.3.4 工业机器人视觉伺服系统
工业机器人视觉伺服系统是机器视觉和机器人控制的有机结合，是一个非线性、强耦合的复杂系统，其内容涉及图像处理、机器人运动学和
动力学、控制理论等研究领域。随着摄像设备性价比和计算机信息处理速度的提高，以及有关理论的日益完善，机器人视觉伺服系统已具备实际应用
的技术条件，相关的技术问题也成为当前研究的热点。4.3.4 工业机器人视觉伺服系统视觉伺服系统 机器人视觉伺服系统是指
利用视觉传感器得到的图像作为反馈信息，构造的机器人的位置闭环反馈系统。视觉伺服和一般意义上的机器视觉有所不同。机器视觉强调的是自动
地获取分析图像，以得到描述一个景物或控制某种动作的数据；视觉伺服则是以实现对机器人的控制为目的的而进行图像的自动获取和分析，它是根
据机器视觉的原理，利用直接得到的图像反馈信息快速进行图像处理，并在尽量短的时间内给出反馈信息，以便于控制决策的产生，从而构成机器人
位姿闭环控制系统。4.3.4 工业机器人视觉伺服系统分类方式 目前机器人视觉伺服控制系统有以下几种分类方式。
1）按摄像机的数目，可以分为单目视觉伺服系统、双目视觉伺服系统及多目视觉伺服系统。 2）按摄像机放置的位置，可以分
为手眼系统和固定摄像机系统。 3）按机器人的空间位置或图像特征，可以分为基于位置的视觉伺服系统和基于图像的视觉伺服系统
。4.3.4 工业机器人视觉伺服系统 下图所示为基于位置控制的动态观察-移动视觉伺服系统，其可通过从图像中得到的目标物体
的特征信息，基于物体的几何模型与摄像机模型，估计出目标物体相对于摄像机的位姿，然后利用与期望位姿的偏差进行反馈控制。基于位置控制的
动态观察-移动视觉伺服系统4.3.4 工业机器人视觉伺服系统 基于图像控制的直接视觉伺服系统如下图所示，控制误差信息直
接取自平面图像的特征值，系统利用期望特征与实时观测到的相应特征的差值进行控制。对于这种控制系统，需要解决的关键问题时如何得到反映图
像特征与机器人末端操作器位姿和速度之间关系的图像雅可比矩阵。基于图像控制的直接视觉伺服系统4.3.5 机器人视觉的应用1、机器人视
觉技术在弹条搬运生产中的应用 机器人视觉技术的应用，极大地拓宽了机器人的应用范围，提高了生产效率，保证了产品质量的稳定
性和可追溯性。大多数视觉设备运用在瑕疵检测，阅读条码，指导抓取和正确位置放置，尤其在工件测量和定位等性能方面，带视觉传感功能的机器
人系统，性能更为卓越。首钢莫托曼生产的机器人弹条搬运系统，配备了多套视觉传感器，除具备各冲压工序不同形状工件的精确定位抓取外，还具
有在线工件位置检测和位置补偿功能，工件最终品质检测功能。全方位的保证和提高产品质量，是本系统的最大特点。 4.3.5 机器人视觉的
应用视觉流程 机器人视觉系统的流程是，视觉系统采集被测目标的相关数据，计算机系统进行图象处理和数
据分析，转换成数据量，通过MOTOCOM通讯软件发送给机器人，机器人以接收到的数据为依据，进行抓取作业。 4.3.5 机器人视觉的
应用 视觉传感器是一种相当于人眼的传感器，根据铁路弹条生产线工艺的特点，弹条搬运视觉系统采用二维视觉，在二维平面上测量
出所有必要的数据，作为指导机器人抓取和判断产品是否合格的依据。根据生产线工件的特点，视觉系统采用主动光源检测。由于工件是高温工件，
其本身能够发出辐射光，用工业相机对其进行拍照，使用滤镜滤除环境干扰光和辐射干扰光，达到良好的图像效果，得到物体的二维图像，从而计算
出工件在平面上的位置和偏移角度。由于高性能计算机的应用及算法优化，增强了视觉系统的精度和处理速度，增强了对工厂恶劣环境的适应性，使
之能在工厂的恶劣环境下稳定运行。如下图所示为视觉技术在弹条搬运生产中的应用原理图，如下图所示为视觉技术在弹条搬运生产中的应用实物图
。视觉技术在弹条搬运生产中的应用原理图视觉技术在弹条搬运生产中的应用实物图4.3.5 机器人视觉的应用2、双目立体视觉技术在果蔬采
摘机器人中的应用 采用双目立体视觉技术获取温室内果蔬的三维位置信息,用于指导果蔬采摘机器人进行自动化采摘作业.试验以植
株上成熟的番茄作为研究对象,利用立体摄像机获取不同距离的成熟番茄的立体图像对,通过对图像进行灰度图像处理,将彩色图像转换为灰度图像
.然后根据灰度图像对中像素点的相关性进行立体匹配,计算像素点的位置信息而获得一幅深度图像.最后对照番茄形心在深度图像中的位置,获取
番茄的三维位置信息.试验结果表明,立体摄像机与番茄的距离小于1 000 mm时,番茄的距离误差为±20 mm。4.3.5 机器人视
觉的应用3、智能移动机器人的视觉导航技术 随着计算机和机器人技术的发展，人们对于机器人的性能要求也在不断提高，现代机器
人已经不再象早期局限在工业制造自动化方面，而是广泛地应用在军事、民用、科学研究等各个领域。它们的工作环境也从单纯的室内环境变成了今
天的各种环境，包括天空、地下、水下、地面等。其中地面作为人类大部分活动的场所，地面移动机器人的研究从很早开始就得到了广泛的研究。4
.3.5 机器人视觉的应用 在军事上，地面移动机器人可以在危险地带代替人类完成侦察、排雷等任务；在民用方面，不仅可以作为自动或辅助驾驶系统来减少交通事故，还可以作为智能轮椅帮助残疾人士等等；在科学研究方面，地面移动机器人可以在外星从事勘探和采矿等工作。地面环境基本可以分成室内和室外两类，这两类环境非常不同，室内环境一般比较狭窄，光照、景物等外部环境都比较恒定；室外环境一般比较开阔，光照、景物等外部环境随时间、天气、季节、地理位置等变化比较大，因此室外移动机器人一般需要比室内移动机器人具有更多智能。小结 本课主要讲解了码垛与搬运机器人核心技术的视觉技术，通过对视觉技术进行介绍，初步了视觉系统类型、功能、作用等；分别介绍了机器人视觉技术、视觉系统的组成、图像处理技术、工业机器人视觉伺服系统、机器人视觉技术的应用等。重点：1）视觉系统定义及类型； 2）视觉系统组成； 3）机器人视觉技术； 4）图像处理技术； 5）机器人视觉伺服系统。Transfer Robot本次课结束，谢谢大家！ |
|
