基于帧间差分累积的铁路限界异物检测提取算法

GXF360 2019-09-06

展开全文

伴随着轨道交通全自动运行系统技术的发展，对于无人值守列车前方障碍物探测的需求进一步加强，对列车行车前方限界内的障碍物检测已成为亟待解决的课题 [1-5]。当前，针对轨道交通限界环境下的障碍物检测方法按感知方法可分成非接触式和接触式[6-7]。已投入运营的全自动运行线路北京燕房线即采用车底安装的检测横梁通过与异物碰撞来实现对侵限异物的检测与清除；非接触式方法则包括激光、红外、视觉识别等，其中视觉传感器因其安装简便、信息丰富、结果直观被广泛采用[8-9]。

按照视频设备和被监视场景的关系，利用车载视觉传感器进行的异物检测为动态背景下的前景目标检测提取过程。目前，基于视觉传感器技术的动态背景环境下前景对象的提取方法包括：一是根据空间坐标和成像坐标在运动中的对应关系，通过运动补偿消减背景变化，再作背景减除提取前景目标。文献[10]即以一维灰度投影结合高斯滤波来实现图像快速去抖动，以统计分布方法完成背景更新，通过快速背景差分取得前景目标。文献[11]基于高阶奇异值分解和全变分思想，通过求解平稳背景、前景对象、动态背景之间的最小化约束方程，来实现对于运动目标的检测。文献[12]通过机器视觉理论和仿射原理构造空间模型，来实现对于障碍物入侵的判断和测量。文献[13]提出一种基于鲁棒M估计全局像素点权值，通过Mean Shift聚类算法，实现不同运动点的分割动态背景下的目标检测算法。二是将提取对象进行特征描述后，以重匹配方法实现目标检测与跟踪。如文献[14]通过对检测对象进行高斯金字塔分解建模后，来匹配动态背景中对象的位置。文献[15]采用Random ferns和朴素贝叶斯方法，对目标对象进行特征描述匹配，通过背景补偿引导检测动态场景下的目标。文献[16]以轨道线边缘完整性及其特征来实现对于异物区域的检测，通过提取异物特征以支持向量机对异物进行分类和辨识。三是以改进光流法等实现动态背景下目标的检测方法[17]，考虑计算量及实时性，在此场景适用难度较大。铁路限界内的障碍物检测前景目标多样，背景变化快，且夹杂由轨旁道砟、车辆振动、数据处理过程中的大量噪声，加大了异物检测提取的复杂度。

除了标准协议之外，赫优讯网关NT100-RE-EN还支持在netSCRIPT的帮助下创建串行协议，netSCRIPT基于Lua脚本语言。施耐德电气项目团队能够使用功能齐全的开发环境作为该软件包的标准功能，可对任何专有串行协议进行简单快速的编程，并可以在转换为另一个总线协议期间对IO数据进行预处理。

鉴于此，首先根据铁路轨道交通线路环境变化缓和接近，针对动态背景环境，通过隔帧帧差方法来获得多次差分结果，依托铁路限界内路轨特征，采用数学形态学实现背景纹理重构来减除干扰及噪声影响。随后通过数值统计以侧向差分灰度的累积投影值，来动态确定不同环境下的异物前景范围，并通过最大类间方差法提取分割出前景目标。多帧隔帧差分相对于光流法具备实时性高的特点，相对于背景差分法能较好应对动态的背景条件，同时可提高对前景目标提取的实时性和鲁棒性。

1 异物提取算法过程

本文所采用的轨道交通限界异物检测提取方法的算法框图如图1所示。

图1 异物检测提取算法框图

算法在初始化处理阶段即提取轨道线性特征并以此为基础确定前方轨道限界区域，随后，依据列车前方限界区域范围提取对应图像数据作隔帧帧差处理，通过数学形态学来对钢轨背景实现重构，来消除复杂背景中的道床枕木纹理特征。针对重建和滤除的差分结果，针对纵向和横向作灰度累积投影变化策略来获取差分突变位置作为前景目标区域。针对定位的图像区域像素，以最大类间方差法来分割提取出前景目标，以方便作为模式识别的特征描述输入参数。

2 初始化处理

2.1 图像预处理

车载视觉传感器采集的视频序列帧中含有较多背景环境数据，同时因背景光照、行车振动、信号放大处理等掺杂干扰。本文以灰度直方图均衡和中值滤波法来实现图像数据平滑减轻噪声干扰[18]。

学校布局的调整和城市化的加速推进，导致了农村学校教育资源的闲置和城市学校教育资源的不足。城乡教育资源仍然存在“数量相同，质量不同”的矛盾。从数据指标来看，农村学校校舍等硬件指标甚至超过了城市指标，但实际上许多农村学校的校舍建设质量远远低于城市学校。因此，在农村学校的硬件建设上必须加强。消除危险房屋后，重建土壤游乐场，增加设备，城市学校开始实施多媒体教学，并为学生教室安装空调，电视机等设备。城乡教育资源配置步调不一，农村教育资源的配置滞后于城市，农村教育经费的投入仍然很低。

2.2 轨道限界范围标定

铁路钢轨因其材质和磨损，在背景图像中呈现连续的线性特征，采用图像边缘提取算子可得到轨道线，考虑摄像机安装位置与轨道相对固定，铁路轨道曲率较小、轨面平坦，且轨道在图像空间中呈现近景区域固定，远景区域动态变化的特征，对图像空间作近远景划分，通过分段曲线模型实现对于轨道线的检测和跟踪[19]。轨道限界范围根据轨道线模型按图像空间像素比例近似计算即可得到。根据铁路限界要求，取最大边距2 440 mm作为建筑限界外侧距线路中心线距离，由铁路标准轨距1 435 mm，可等比例得到对应的铁路限界范围，同时伴随远景区域轨道线跟踪来动态更新限界范围。根据空间坐标系中两平行线在投影空间汇聚于一点，线路区域位于此消隐点(Pvanish(u，v))下方的原理[20-21]，本文以消隐点下二分之一位置vb处为分界点，标定出近景区和远景区范围。其中根据图像数据编码方式，文中图像坐标系左上顶点为原点，以像素为单位，如图2示。

图2 轨道模型示意

3 隔帧帧间差分与背景补偿

3.1 隔帧帧差法

将车载视频传感器采集的单帧图像用一个二维函数I(u，v)表示，那么连续的序列帧可表示为I1，I2，I3，…，Ik…In。将序列中2组隔帧数为m的相邻帧数据表示为：Ik-1(u，v)，Ik(u，v)和In-1(u，v)，In(u，v)，那么依据本文的思路，隔帧差分过程如下所述。

步骤1：数据参数及限界区初始化；取视频序列帧数据Ik-1(u，v)，Ik(u，v)及In-1(u，v)和当前帧In(u，v)；

步骤2：差分Ik(u，v)与Ik-1(u，v)得Dk，k-1(u，v)；记录并存储为Dk，k-1(u，v)；将Ik(u，v)数据赋给变量Ik-1(u，v)；

步骤3：取In(u，v)与In-1(u，v)差分，记录并存储为Dn，n-1(u，v)，赋当前帧数据给变量In-1(u，v)；

步骤4：将两次差分结果Dn，n-1(u，v)，Dk，k-1(u，v)以及当前Ik-1(u，v)，In-1(u，v)送入下一模块，背景补偿并作侧向投影统计求差，以突变特征初定目标对象范围；回到步骤2，重复此过程。

隔帧差分算法在视频采集中同步进行，可应对异物出现在背景中无相对运动的场景，同时对丢帧具有适应性。本文取司机室内视觉传感器采集的实验场景为例，限界内前景目标为无源应答器。实验结果如图3所示。

图3 两组序列帧差分结果

对比帧组信息一致，结果中灰度数据信息少；当前帧差结果包含有因传感器振动而出现的轨道轮廓；且差分结果中均存在干扰定位的枕木纹理等道床信息，需进一步进行补偿处理。

3.2 基于数学形态学的背景补偿

数学形态学开运算以结构元素构造的方法实现对于灰度图像确定纹理的重构建。构造形态学结构元素b，以i(u，v)表示图像I(u，v)的灰度值。形态学开运算过程为通过结构元素完成的先腐蚀后膨胀处理。其中灰度膨胀运算可表示为

(I⊕b)(u,v)=max{i(u-u′,v-v′)+

b(u′,v′)|(u′,v′)∈Db}

多年来积累的咨询意见将是一笔丰富的资源。若能在文档归档、搜索、浏览方面加强信息化管理，加强数据挖掘，可产生审核工作的新模式。可以推出数字化知识库，除了对既有数据的整理归纳，平常遇到有值得参考的图片、文字，或其他有价值的信息，通过审核后，传到系统中，从而逐渐丰富我们的知识库。在需要的时候，应能从系统中快速搜索有用信息，为设计工作提供参考思路或参考方案。

(1)

其过程表示结构元素b在I(u，v)定义域内灰度加运算遍历过程中的最大值。为不更改原有像素点灰度值，本文取结构元素b的定义域Db内的所有坐标值为0，式(1)描述的算法过程为在Db对应领域范围内确定最大值的过程。同样地,灰度腐蚀运算可表示为

(IΘb)(u,v)=min{i(u+u′,v+v′)-

b(u′,v′)|(u′,v′)∈Db}

(2)

腐蚀运算则表示通过b与在I(u，v)定义域内取灰度最小值的过程。由上，灰度图像开运算可表示为

I∘b=(IΘb)⊕b

(3)

开运算通过结构元素腐蚀过程消除微细噪声信息，再以膨胀重构出对象纹理结构。重构的精度受构造的结构元素的相似性影响。已知的纹理结构特征包括：横向水平线性枕木边缘结构、显著轨道边缘轮廓，以及其他相关设备结构。通过开运算可重构显著纹理，来补偿列车前方限界内枕木环境及抖动带来的干扰。文中针对性构造结构元素b1，b2，b3，序列帧分辨率为521×480 pixel，其中：

当年，高河如何也想不透的道理，而今天他明白了。因为娟儿比小表姐更漂亮，更温柔，更会做家务。无论是家里的雇工，还是邻里街坊，口口称赞的都是娟儿，小表姐自然才会讨厌娟儿。

b1：构造枕木边缘，取30 pixel水平直线型结构元素；

在实验的过程中发现，MgSO4的加入能够提高磷酸盐的的固化时间，因此，在固定硼砂加入为3 g时，对MgSO4的加入量进行优化见图2。

SuperMap城镇地籍数据建库系统的查询统计功能包括土地分类以及土地权属(含已发证、未发证和有权属纠纷的)的查询统计，比如宗地查询、SQL语句定制查询、专项统计等。同时能对数据提供空间分析的功能，比如叠加分析、缓冲区分析和邻近分析等，以此实现多数据源的数据空间分析功能，并生成统计图和表。

b2：构造轨道结构轮廓，近景区轨道边缘倾角由轨道线追踪算法中的Hough变换提取得到，其中左右侧斜率分别为kl，kr，设65 pixel线性结构元素。远景区部分以纵向投影统计削减。

b3：本场景中车辆驾驶室外雨刷作特殊结构描述为60 width=11,height=5,dpi=110 长25 pixel线性结构。

通过b1，b2，b3分别对当前帧In差分所得作开运算后，累加得到背景纹理结构的重构图如图4(a)所示。通过减除重构纹理实现补偿的结果如图4(b)所示，行车前方限界内道床、设备等因抖动产生的干扰得到削弱。

图4 差分背景补偿结果

4 基于侧向灰度累积值的目标定位提取与分割

4.1 目标定位提取

车载视觉传感器采集的视频序列帧中包含的路轨道床信息会因光照和行车抖动而富含大量噪声干扰，且不同场景下的信息具有较大的差异性，为应对不断变化的环境条件，本文考虑采用统计思想，针对相邻帧背景变化较小的特点，以限界区背景数据值的单方向投影来反映灰度信息在坐标中的分布，邻帧的背景信息分布呈现较强的近似性。当有非路轨环境目标出现在限界范围内时，单向投影统计值会呈现出部分范围持续性的数据变化。文中通过单侧统计差分结果的灰度和值对比得到异物疑似区域。

算法思路主要包括以下过程。

步骤1：参数初始化，求Dk，k-1(u，v)，Dn，n-1(u，v)远景横向投影累积值，记录两组结果相减的偏差向量ec[v]；

步骤2：以本帧横向偏差向量ec[v]与前v-1项偏差均值Thr之差作为疑似区判定边界。当ec>Thr，且持续有L个像素时，判别为疑似区域并记录为[Gs，Gx]，若ec≤Thr，则返回继续循环；

图5 基于侧向灰度累积值的目标定位算法示意

步骤3：在v轴[Gs，Gx]区域，作纵向差分灰度投影累积，并同步骤3方法完成u轴疑似区域[Kz，Ky]确定。实验结果如图5所示。因图中限界内图像数据差分后信号较为微弱，为方便说明此处以负片效果作为显示，说明侧向投影累积与前景目标的对应位置。

面对不断失利的男篮，4月16日，我们制作封面专题，邀请资深媒体人尹波先生、俱乐部的持不同意见者马宏观、常年跟队的记者徐凯华、全国门户网站的知名球评人王玉国“会诊”山东高速男篮，指出问题之所在，多问几个为什么，藉以此让山东男篮猛醒、奋起，在实现几代篮球人的登顶梦想新征程中，少走弯路。

由目标出现而产生的与原枕木道床环境不同的灰度分布差异，可完成对于轨行区限界范围内的前景目标定位，同时为方便目标分割及描述特征向量值的提取，在疑似区域外多扩3像素以加强背景参照信息。

4.2 目标分割与二值化

为区分目标和背景分界，利于后期对于异物对象特征向量值的描述和提取，针对疑似范围内的图像作分割运算以确定前景对象。考虑基于最大类间方差的动态阈值分割方法相对于聚类分析、区域生长、主动轮廓等方法在速度、鲁棒性、算法复杂度上的优势，用最大类间方差法实现目标分割。最大类间方差通过统计不同灰度级别的分布的概率，以使方差最大来确定最佳阈值，采用的数学描述可表示为

外加剂对混凝土收缩与开裂性能影响的试验研究……………………………………………… 许荣水，程龙（2-247）

Ts=Argmax[w1(t)(J1-J0)2+w2(t)(J2-J0)2]

(4)

式中，Ts表示灰度阈值；w1(t)和 w2(t)分别表示前景目标和背景信息在图像像素点中的比重；J0(t)为平均灰度值，J1 (t)和 J2(t)分别表示前景目标和背景的灰度均值；取限界内疑似范围外方灰度值作背景划分参量，本文举例的实验提取结果如图6所示。

武成龙和鬼算盘打得异常激烈。回龙剑如银蛇飞舞，不断攻击着鬼算盘的全身，然而鬼算盘那二尺一寸长的、近尺宽的、怪异的、乌黑发亮的铁算盘好像一面盾牌一样有效扼制了长剑的攻势。长剑的轻灵飘逸与铁算盘的沉重而笨拙相映成趣，不时响起“叮！叮！叮！”轻脆悦耳的碰撞声，如果没有斗场中刺耳的剔肉刮骨声掺杂其间，会让人感到那不是一场生死搏杀，而是一场陶醉人心的表演。

图6 前景目标提取及分割结果

5 前景目标定位提取算法流程

本文基于帧间差分累积的铁路限界异物检测提取算法的主要过程包括初始化、隔帧帧差、背景补偿、侧向灰度累积定位与分割几个主要部分，算法流程如图7所示。算法自读取图像序列帧时，即开始循环做差分检测，以避免漏检车辆缓动场景下的异物目标，完成定位提取目标后，将目标及相应帧送入后续模式识别等模块，作为危险辨识及预警输入。

在初中物理电学的计算题中遇到求解过程很复杂，而且解题的方法有很多种题时，这主要考验学生的综合能力，学生在解题的过程中可能出现由于粗心求解错误的情况，影响最后结果的得出。这时教师可以利用设未知列方程的方法，避开复杂的求解过程，帮助学生很好的解决问题。

图7 铁路限界异物定位提取算法流程

6 实验分析与验证

本文通过室外场景实验、TrainSimulator环境仿真、现场行车采集，共构造了47个不同的场景，用于算法场景测试，并将测试序列帧统一为512×480像素尺寸，每场景共包括45帧图像。算法处理过程通过Matlab2013实现编写和测试。

适应海外华人社会和华文教育的需求及需要，“中国寻根之旅”活动已经成为中国国务院侨办和海外交流协会开展海外华文教育工作的一个知名品牌。

本次以现场行车采集的视频序列帧场景为例，采用传统帧间差分法作为对比说明。差分处理结果如图8所示。

图8 与帧间差分法结果对比

帧间差分法得到的差分结果如图8(b)所示，图中可见大量的背景干扰信息，较难区分出限界内前景目标，且差分结果中出现了目标的重影现象。本文算法结果如图8(c)所示，通过对背景进行形态学重构补偿，有效地消减了干扰信息。因帧间差分法无目标定位提取算法过程，本文后续通过对测试场景进行实验，来验证算法性能。

本文算法处理场景数据得到的疑似物目标定位提取结果(部分)如图9所示。其中，图9(a)表示光线充足下列车行车前轨行区域有未撤离人员环境场景；图9(b)表示较低光线条件下限界内有山体落石出现场景；图9(c)表示正常光线条件下，在道床上有悬空或跌落对象的场景。本文算法对异物目标的检测提取结果如图9(d)、图9(e)和图9(f)所示，可见前景异物目标于限界区域成像部分均实现提取和分割。

图9 实验场景定位及提取部分结果

针对构造实验场景检测统计实验情况如表1所示。于行车前方限界内有异物的场景中，异物目标检测率为96.87%，而于行车前方限界内无异物的场景出现了较高的误检率，误检率为26.67%。经实验，算法具有较好的检测效率，同时定位提取过程的平均耗时为0.137s。

表1 本文算法检测数据统计

实验动态场景场景总数/个目标提取数/个检测率/%误检率/%漏检率/%有前景目标323196.8712.503.13无前景目标15426.6726.670

分析实验过程及场景发现，造成误检的主要对象为路轨道床中间的安装设备以及光照下的阴影和光斑等对象，此类不影响安全行车的非障碍物目标可在后续建立特征库通过学习算法在目标识别过程中去除。

7 结论

对于车载视觉传感器下的轨道交通线路动态背景环境，通过改进的隔帧差分法能较为有效地实现对于前景目标的提取。算法通过隔帧差分以获得目标对照信息，并以铁路限界背景纹理先验知识，通过重构形态学背景纹理在一定程度上有效补偿了限界范围内的相似背景信息，且具有较好的实时性；算法通过侧向差分灰度的累积投影值来动态确定不同环境下的异物对象范围，可检测随机性对象，同时可较好应对车载视觉传感器因抖动和数据处理中累积的干扰及噪声。通过构建不同环境下的实验，算法可完成对于动态路轨环境下的异物目标定位提取，检测的实时性和准确率较好。后续可通过提取本算法检测获得的前景目标描述特征，通过模式识别算法实现对于异物目标的分类识别，辅助行车决策控制。

参考文献：

[1] 路向阳，吕浩炯，廖云，等.城市轨道交通全自动驾驶系统关键装备技术综述[J].机车电传动，2018(2)：1-6.

[2] 闫宏伟，燕飞.城市轨道交通全自动运行系统及安全需求[J].都市快轨交通，2017，30(3)：1672-6073.

[3] 刘大为，郭进，王小敏，等.中国铁路信号系统智能监测技术[J].西南交通大学学报，2014，49(9)：904-912.

[4] Kazanskiy N L， Popov S B. Integrated design technology for computer vision systems in railway transportation[J]. Pattern Recognition and Image Analysis， 2015，25(2)：215-219.

[5] 高嵘华，郑泽熙.轨道交通全自动运行系统对CBTC功能需求的研究[J].自动化与仪器仪表，2018(9)：5-11.

[6] 梁少喆.地铁障碍物与脱轨检测装置的设计与分析[D].北京：北京交通大学，2015：1-7.

[7] 曲越.城轨列车非接触式障碍物检测系统的研究[D].北京：北京交通大学，2017：2-6.

[8] 罗蓉，武志刚.基于车载激光测距仪的城市轨道交通障碍物检测方案探讨[J].铁路通信信号工程技术，2017，14(3)：76-79.

[9] 王前选，梁习锋，刘应龙.缓变异物入侵铁路线路视觉检测方法[J].中国铁道科学，2014，35(3)：137-143.

[10]郭保青，杨柳旭，史红梅，等.基于快速背景差分的高速铁路异物侵人检测算法[J].仪器仪表学报，2016，37(6)：1371-1378.

[11]徐联微，杨晓梅.基于HOSVD和TV的动态背景下的运动目标提取[J].计算机工程与设计，2017，38(4)：1045-1050.

[12]王前选，李鹏，崔灿，等.轨道交通线路异物入侵的视觉检测方法[J].五邑大学学报(自然科学版)，2018，32(3)：18-24.

[13]徐诚，黄大庆.基于鲁棒M估计和Mean Shift聚类的动态背景下运动目标检测[J].光子学报，2014，43(1)：1-6.

[14]屠礼芬，仲思东，彭棋，等.基于高斯金字塔的运动目标检测[J].中南大学学报(自然科学版)，2013，44(7)：2778-2786.

[15]王栋，朱虹，康凯，等.基于背景补偿引导的动态场景下目标跟踪算法[J].仪器仪表学报，2014，35(6)：1433-1440.

[16]同磊，朱力强，余祖俊，等.基于车载前视摄像机的轨道异物检测[J].交通运输系统工程与信息，2012，12(4)：79-83.