智能选矸机器人系统的研究与应用

引

言

煤矸分选是煤炭洗选加工过程中的一个重要环节。目前，我国90%以上的选煤厂在块煤选矸环节仍主要采用传统人工选矸方式。人工选矸岗位劳动强度大，噪声污染严重，粉尘浓度高，严重影响岗位工人身心健康，且工作环境存在较大的安全隐患。除此之外，人工选矸效率低下，矸石分拣率直接受岗位工人素质、作业管理水平等主观人为因素影响。因此，研究智能选矸机器人系统对于提高分选效率，降低企业用工成本具有重要意义，不仅可显著提高煤炭生产的经济效益与社会效益，且可助推选煤行业智能化、绿色化、安全化转型升级。

随着图像处理与视觉分析技术的发展，机器视觉技术在矿物识别中的应用越来越广泛。针对煤和矸石的视觉识别问题，于国防等通过分析不同光照条件下煤和矸石图像的灰度特征，并对灰度信息进行综合处理后，建立了扩阶共生矩阵，利用惯性矩计算结果表征了二者的纹理区别，从而实现了分类识别。鲁恒润等针对以往研究仅采用灰度、纹理等特征进行煤矸识别精度低的问题，提出了采用神经网络联合多种图像特征进行信息提取的方法，并运用神经网络进行了数据建模，从而实现了识别分类。近期，PUY等提出采用VGG-16网络建立深度煤矸识别模型；徐志强等利用轻量级的ResNet、SqueezeNet网络结合模型剪枝技术实现了识别模型优化。但两研究受限于训练样本基数，识别效果不甚理想。

现阶段卷积神经网络类深度模型在煤矸识别应用方面仍存在以下问题：模型受光照影响大，检测准确率不高；训练参数数量庞大，学习时间成本高。但在煤矸识别中，可采用AMSR提出的类似自适应多尺度的Retinex增强算法作为预处理手段来降低光照影响，通过离线专家标注构建训练样本集来保证样本的完备性，可以CornerNet作为建模基准网络，结合SqueezeNet精简思想，对原始cor-nerNet模型进行轻量化处理。

为了保证分拣效率，机械手需要具备高速性。高速运动的机械手与分拣物接触的瞬间发生碰撞，当分拣物较大(质量达10kg以上)时，会对机械手产生冲击，因此机械手的机械结构需同时具备高速、重载及减缓冲击的特点。与串联机械手相比，并联机械手具备较好的高速特性，目前已有高速并联机械手(如Diamond机械手和Delta机械手)在轻载场合得到了广泛应用。但是，现有的并联机械手的机械结构并不适用于重载有冲击的场合，因此可在Diamond机械手的基础上进行改进设计，使之在适应重载冲击场合的同时还具有高速特性。

此外，煤与矸石在输送带上排队后，依然会存在煤与矸石并排排列的可能，为了降低误选率，还需对煤与矸石并排排列情况下的分拣作适宜的技术处理。

为实现煤矸智能分选，采用Retinex增强算法对图像进行增强处理，基于CornerNet-SqueezeNet算法建立视觉识别模型，并设计了并联机械手和三坐标机械手，从而研发出集煤矸智能识别和分拣于一体的智能选矸机器人系统，在开滦集团唐山矿业分公司投入应用。

整体设计方案

智能选矸机器人系统由视觉识别系统和机械手控制系统两部分构成。总体设计如图1所示。

图1  智能选矸机器人系统总体设计

如图1所示，在物料到达图像采集区域前，物料被分成左右两列，由实测图像采集装置(视场高度0.84m)以每隔1.87s的设定时间对经过图像采集区域的物料进行拍照采样，实现对物料的全覆盖；视觉识别系统对采集的图像进行处理，得到物料的类型、尺寸、位置、拍照时刻等信息；根据物料的不同，并联机械手负责将待分拣物拨出输送带，当待分拣物与非分拣物并排排列时，由三坐标机械手将待分拣物抓出，实现分拣。根据生产需要，智能选矸机器人系统可实现拣煤或拣矸的切换，一般煤量少时拣煤，矸石量少时拣矸。为满足现场工况要求，并联机械手与三坐标机械手均可扩展至多台。

煤矸识别方案设计

2.1 图像增强算法的选择

视觉识别系统首先采用Retinex增强算法对图像进行增强处理，然后基于CornerNet-SqueezeNet算法建立视觉识别模型。经典的多尺度Retinex增强MSR模型可以表示为：

式中：w_n为对应尺度的权重占比；I_n(x,y)为原始图像在尺度n条件下的Retinex增强图像。

首先，设定Retinex增强的尺度数目(n)，一般情况下n=3~5；然后，对像素灰度数值进行聚类分析，聚类数目等同尺度数目，并获取各聚类中心数值(μ_n)、类内方差数值(σ_n)；最后，通过式(2)和式(3)来计算各点各尺度的似然概率及权重占比，即可得到增强后的图像。图像增强前后的效果对比如图2所示。

图2  图像增强前后的效果对比

2.2 基于CornerNet-SqueezeNet的煤矸识别模型

CornerNet网络将显著点检测的视觉识别思想引入传统的深度卷积网络类深度建模中，其卷积计算用于表征显著点出现的概率，从而通过一个卷积层生成两组角点概率图，也称热图(Heatmap)，一组用于预测左上角点，一组用于预测右下角点。根据模型输出类别，为每组热图设定相同数目(C)的图层通道，每个对应图层像素点的数值(P_cij)即为图像点Pixel(i,j)为C类别角点的概率。之后，通过引入嵌入向量(Embedding)，对预测角点进行聚合，组成目标识别区域(Box)。基于CornerNet网络的煤矸识别模型如图3所示。

图3  基于CornerNet网络的煤矸识别模型

CornerNet网络中使用堆栈沙漏网络结构作为网络主干，其中单个沙漏模块结构如图4所示。由于使用了大量的残差模块，导致CornerNet主干部分在输入为256×256图像时网络参数高达18700万，其计算复杂度随输入图像尺寸增大而呈指数增加。为精简网络模型，结合SqueezeNet网络精简思想，对原始CornerNet网络进行了轻量化处理，使用fire模块代替了沙漏网络中的残差模块。每个原始残差模块包含2个3×3核卷积层，而fire模块则首先使用1个1×1核卷积层进行数据降维，然后用可分离的1个1×1核卷积层和1个3×3核卷积层进行组合升维，从而大幅降低了网络权值数目。

图4  CornerNet网络中单个沙漏模块结构

机械手控制系统设计

3.1 并联机械手结构设计

开滦集团唐山矿业分公司手选输送带上煤块与矸石的尺寸主要集中在50~300mm范围内，且矸石量较大，因此系统执行“拣煤”方案，机械手选出煤块的最大质量可达15kg。系统运行时，煤块与矸石在输送带上游排成两列，随输送带向前运动，两列物料之间最小距离为100mm，带速为450mm/s。

并联机械手是在Diamond机械手结构的基础上进行的改进设计，保留了Diamond机械手的高速特性，采用弹性零器件(减震弹簧板与机械手拨指橡胶铠甲)来吸收拨指与分拣物之间的碰撞冲击，因此可适用于高速重载和有碰撞冲击的场合。其结构如图5所示。

1—运动驱动电机；2—驱动丝杠；3—支撑光杠；4—大臂安装座；5—大臂转动驱动电机；6—机械手大臂；7—减震弹簧板；8—机械手小臂；9—拨指姿态保持连杆；10—机械手拨手；11—拨指橡胶铠甲；12—拨指姿态控制气缸

图5  并联机械手结构图

并联机械手采用拨指拨出分拣物的方式实现分拣，拨指状态与机械手的运行状态没有耦合关系，故能保证机械手的运动节拍，提高分拣率。

并联机械手拨手(图6)上的拨指分为三组，中间组拨指固定，边组I、边组II拨指可通过两个气缸独立控制起落。当推小块物料时，边组I、边组II拨指抬起；当推中等块度物料时，边组I拨指落下，边组II拨指抬起；当推大块物料时，边组I、边组II拨指落下。该设计有效降低了物料误推的概率，从而可大大降低误推率。

1—边组I拨指姿态控制气缸；2—边组II拨指姿态控制气缸；3—边组I拨指；4—边组II拨指；5—中间组拨指

图6  并联机械手拨手结构图

拨指使用与分拣物尺寸的对应关系见表1。

表1  拨指使用与分拣物尺寸的对应关系

3.2 并联机械手拨手运动规律规划

并联机械手在推出分拣物的一个运动周期内，拨手按图7所示的轨迹运动。

图7  并联机械手拨手运动轨迹图

在并联机械手高速运动时，为了避免自身惯性力的冲击，在每一条直线路径上均按三项五次多项式来规划拨手运动规律，即：

式中：S为路径长度；a_max为最大加速度；T为走完该路径所用的总时间，这里t为时间变量。

将运动轨迹及三项五次多项式运动规律编程写入MATLAB，运算后得到单循环周期的拨手的加速度曲线，如图8所示。由图8可知，在整个单循环运动周期内，拨手的加速度是从零再回到零的连续变化，不存在突变过程，因而拨手的惯性力也是连续变化的，不存在内部惯性力冲击问题。

图8  拨手加速度曲线

3.3 并联机械手动力学模型

3.3.1 位置逆解

在分拣过程中，若想使机械手拨手按特定路径运动，需知大臂角度与机械手拨手位置之间的关系。并联机械手的动力学模型如图9所示。

A₁B₁、A₂B₂—机械手的两个大臂支链；

B₁O'、B₂O'—机械手两个小臂支链；

O'—机械手拨手简化点

图9  并联机械手动力学模型

由图9可知，机械手的位置方程为：

对式(5)两端取模的平方，得到如下三角方程：

根据装配模式可解出：

将拨手的运动规律及式(7)编程写入MAT-LAB中，运算后即可得到大臂角度曲线，如图10所示。

图10  大臂角度曲线

大臂角度曲线即为大臂转动驱动电机的角度曲线，将相应的电机角度数据写入机械手控制器中，即可实现拨手按预定运动规律行走的控制。

3.3.2 速度逆解

在分拣过程中，若想使机械手拨手按特定速度运动，需知大臂角速度与机械手拨手速度之间的关系。

对式(5)进行关于时间的求导，可得：

将之改写为矩阵形式，有：

将拨手的运动规律及式(9)编程写入MAT-LAB中，运算后即可得到大臂角速度曲线，如图11所示。

图11  大臂角速度曲线

大臂角速度曲线即为大臂旋转驱动电机的角速度曲线，将相应的电机角速度数据写入机器手控制器中，即可实现拨手按预定运动规律行走的控制。

3.4 三坐标机械手结构设计

三坐标机械手共有3个自由度，即：沿输送带运动方向，采用丝杠传动；垂直于输送带运动方向，采用丝杠传动；竖直方向，采用气缸控制。其结构如图12所示。

1—沿输送带运动方向的驱动电机；2—沿输送带运动方向的驱动丝杠；3—沿输送带运动方向的支撑光杠；4—沿垂直于输送带运动方向的驱动电机；5—垂直于输送带运动方向的驱动丝杠；6—垂直于输送带运动方向的支撑导轨；7—竖直方向的驱动气缸；8—手指控制气缸；9—固定手指；10—活动手指

图12  三坐标机械手结构图

当煤块与矸石并排排列时，并联机械手不动作，由三坐标机械手进行分拣。当待分拣物靠近输送带边缘时，活动手指始终处于抬起状态，由固定手指将其拨出；当待分拣物靠近输送带中心时，活动手指动作，将其抓出。

试验结果及分析

根据前期智能选矸机器人系统的工业试验情况，对系统在实际生产状态下的分拣效果进行了综合评估。数据来源于开滦集团唐山矿业分公司选煤厂2019年12月~2020年5月生产期间的实际生产过程。

煤与矸石在线识别效果如图13所示。图13中：黄色框内为矸石，蓝色框内为煤块；左上角显示的是识别时间，基本在200ms之内。经试验验证，机械手从接收到信号，到完成分拣动作，再回归零位的时间约为1s。

图13  煤矸在线识别效果

分拣效果采用煤矸识别准确率和机械手分拣成功率两个评测指标进行评估。经过多次试验，每次选取10min内的视觉识别录像进行统计分析。通过统计输送带上经过的煤和矸石的总数量、系统识别出的煤块数量和矸石数量，抽样对识别结果进行人工校验，以分析识别准确率。最后对分拣出来的煤块进行测算，计算出误拣率，从而测算出系统的分拣成功率。煤矸识别准确率见表2。

表2  煤矸识别准确率

根据唐山矿选煤厂手选工艺的要求，智能选矸机器人系统需要将煤块分选出输送带。通过对识别出的煤块数量和实际拣出的煤块数量进行对比分析，得到机械手分拣成功率，见表3。

表3  机械手分拣成功率

由此可知，智能选矸机器人系统煤矸识别准确率为93.05%，煤块经识别后的分拣成功率为94.12%，综合分拣率为87.60%。

结论及展望

(1) 研究建立了基于CornerNet-SqueezeNet的煤矸智能识别算法模型，实现了工况条件下的煤矸准确识别及定位。

(2) 通过在Diamond机械手结构基础上进行改进设计和关键部位的缓冲设计，开发出了能满足选矸需求的高速重载、抗冲击的机械手。

(3) 在开滦集团唐山矿业分公司的实际应用结果表明：智能选矸机器人系统煤矸识别时间在0.2s以内，识别准确率达93.05%；机械手动作周期为1s，拣出的煤块尺寸在50~300mm之间，负载可达15kg，综合分拣率可达到87.60%。

(4) 智能选矸机器人系统具有安全性好、节能环保、安装方便等特点。当系统机械手设置为一个时，整体功耗为10kW，安装空间仅需2.5m(长)×1.8m(宽)×1.8m(高)。系统机械传动部分采用全密封处理，日常维护简便快捷。

(5) 目前，智能选矸机器人系统已经投入使用，但由于场地限制，无法扩展机械手，尚不能完全替代人工手选，而且识别算法的准确率尚需通过不断训练和迭代来进一步提高。

原文引自

作者简介

江洪(1968—)，男，河北唐山人，工程师，从事选矿工程及相关专业的研究工作。

引用格式

江洪，宋勇，隋国成，等.智能选矸机器人系统的研究与应用［J］.选煤技术，2020(4)：81一87.