自动驾驶基础（十) 之LDWS 简介

根据（美国）国家公路交通安全管理局的定义，车辆车道偏离预警系统（LDWS - Lane DepartureWarning System）是一种通过报警的方式辅助驾驶员避免或减少汽车因车道偏离而发生交通事故的系统。通过标定实验，找到直线距离车道线左右边缘30cm范围内的报警区域，一旦车辆发生在预警区域内启动报警。

根据（美国）国家公路交通安全管理局的定义，车辆车道偏离预警系统（LDWS - Lane DepartureWarning System）是一种通过报警的方式辅助驾驶员避免或减少汽车因车道偏离而发生交通事故的系统。通过标定实验，找到直线距离车道线左右边缘30cm范围内的报警区域，一旦车辆发生在预警区域内启动报警。
美国国家公路交通安全管理局开展的“采用智能车辆道路系统对策的道路偏离避撞警告项目”研究将车辆偏离预警系统分为“纵向”和“横向”车道偏离警告两个主要功能。纵向车道偏离警告系统主要用于预防那种由于车速太快或方向失控引起的车道偏离碰撞，横向车道偏离警告系统主要用于预防由于驾驶员注意力不集中以及驾驶员放弃转向操作而引起的车道偏离碰撞。





绝大部分的车道偏离警告系统都将车辆在车道内的横向位置作为计算警告发生与否的一个基础。这些检测车辆横向位置的系统基本上可以分为两类：基于道路基础构造的系统以及基于车辆的系统。
（1） 基于道路基础构造的车道偏离警告系统
基于道路基础构造来检测车辆横向位置，需要对现有道路进行改造。最典型的道路改造方式就是使用埋在道路下的铁磁体标记（通常为磁铁或电线）。车辆传感器检测这些铁磁信号，利用信号的强度计算车辆在车道中的横向位置。这种方法对车辆横向位置的估计精度能达到几个厘米，但这种方法最大的缺陷是道路改造耗资巨大。
（2） 基于车辆的车道偏离警告系统
该类系统主要是利用机器视觉或红外传感器检测车道标识的位置，按照传感器的安装方式可分为俯视系统和前视系统。
· 基于车辆的俯视系统.
基于车辆的俯视系统其优势就是在结构化道路上效率高并简单易行，并有可能取得更高的定位精度。其不利的因素是只能在结构化道路上使用（必须存在道路标识，且道路标识能被有效识别）。
· 基于车辆的前视系统.
基于车辆的前视系统优势在于可以利用更多的道路信息，在没有道路标识的道路上也可以使用。其不利因素就是用来定位车辆横向位置的一些图像特征点可能被其他车辆或行人干扰。
目前商业化使用的产品都是基于视觉的系统，由道路和车辆状态感知、车道偏离评价算法和信号显示界面三个基本模块组成。一般情况下，该系统可以提供智能的车道偏离预警，在无意识（驾驶员未打转向灯）偏离原车道时，能在偏离车道0.5秒之前发出警报，为驾驶员提供更多的反应时间，大大减少了因车道偏离引发的碰撞事故，此外，使用LDWS还能纠正驾驶员不打转向灯的习惯，该系统其主要功能是辅助过度疲劳或长时间单调驾驶引发的注意力不集中等情况。
基于机器视觉的道路边界以及车道标识线识别方法基本上可以归结为两类方法，一类为基于特征的识别方法，一类为基于模型的识别方法
一，基于特征的识别方法
基于特征的识别方法主要是结合道路图像的一些特征（颜色特征、灰度梯度特征），从所获取的图像中识别道路边界或车道标识线（对特征车道线进行连接、拟合或其他分析，或是对图像中边缘检测进行直线拟合得到边界线段、对其长度和方向进行聚类并连接）。基于特征的车道识别算法中的特征主要可以分为灰度特征和彩色特征。基于灰度特征的识别方法是从车辆前方的序列灰度图像中，利用道路边界及车道标识线的灰度特征而完成的对道路边界及车道标识线的识别。基于彩色特征的识别方法是利用从获取的序列彩色图像中，根据道路及车道标识线的特殊色彩特征来完成对道路边界及车道标识线的识别。目前应用较多的是基于灰度特征的识别方法。优点在于能适应道路形状，同时检查时处理速度快，但当道路图像复杂时边缘检测还需要很多后续工作来完成对边缘的分析会降低实时性，且道路出现阴影和车道线边缘受损此方法可能会失效。
采用仿射变换的方法是将前方图像的路面通过仿射变换为俯视图，在俯视图中将车道线提取出来，提取的方法也是寻找车道线的特征，按照灰度值进行二值化，然后采用边缘检测，得到车道线的边缘轮廓，将检测到的车道线提取出来。军事交通学院采用这种方法进行车道线检测，在高速公路上得到了很好的效果，这种方法的优点是，可以找到多条车道线，实时效果比较好，但是缺点是对于复杂路况稳定性比较差，仿射变换时图像的损失比较大，在仿射图中不一定能够检测到变形后的车道线，受到周边物体遮挡影响严重。不适用于路况复杂和摄像头的视角比较小的前方视野。
基于拟合的车道线检测，边缘点拟合依据的原理是：车道线是白色的，而路面是灰色的，车道线和路面存在稳定的灰度梯度差，通过设定合理的阈值，就可以将车道线的边缘提取出来，提取的车道线的边缘点有很多，找到同一水平位置相邻的车道线的边缘点，取他们的中点作为车道线上的一点，依次方法得到整个车道线的点，由于车道线的与路面的颜色灰度值会受到颜色变化的影响，所以单一的阈值分割出来的边缘点并不在车道线的中间，而是在一个区域内，车道线提取的中点集合并不是在一条直线上，而是分布在直线的两侧，要得到最终的车道线需要对这些点进行拟合，一般采用拟合函数进行拟合。
车道识别算法通常包括以下几个步骤：首先进行图像预处理，然后二值化，最后进行识别。其中关键技术是车道线阈值的确定和约束条件的综合应用。
车道线阈值计算通常采用固定阈值、整体自适应阈值和局部可变阈值。固定阈值根据统计方法得到一个车道线灰度值，这种方法只适用于光照均匀且强度不变的天气情况；整体自适应阈值方法可以适应不同光照变化情况，但它要求图像的灰度值整体变化，当图像出现局部灰度值变化时，这种阈值二值化的效果并不理想。局部自适应阈值算法一般采用图像中每行一个阈值，这样，对于不同图像中垂直亮度变化明显的情况会得到较好的结果，但对于图像中水平方向上阈值变化明显的情况则无能为力。对于渐变光线，图像的灰度有规则地由高变低或由低变高，可采用sobel算子有效消除这种影响。但这种方式仍然需要一个差分后的阈值，且在阳光较强的情况下，容易受到电线杆之类的较长的阴影的干扰。
阈值确定后即可得到二值图像。由于二值化图像中还存在着较多的干扰点，需要采用适当的算法来去掉干扰点。在ARGO、THMR系统中，算法从二值化图像的底部开始逐行地进行水平扫描，并将非零点连成链。当发现一个非零点时，如果该点与最近的线段极值点的距离小于一个给定的阈值，就认为该点是属于这条线段，否则就以该点为起点开始一条新的线段。由于道路标志线通常并不连续，因而需要采用一些特定的道路模型（如直线、曲线等）进行延伸，这样就可以填充间隔使间断线连续。这种算法适应性有限，需要比较严格的车道标志线，鲁棒性不高。
这种方法的优点是计算量较小，可以拟合带有曲率的车道线，缺点是环境适应性差，受光照干扰较大，稳定性差。



二． 基于模型的识别方法
基于模型的道路边界及车道标识线识别方法主要是针对结构化道路具有相对规则的标记，根据其形状建立相应的曲线模型，采用不同的识别技术（Hough变换、模板匹配技术、神经网络技术等）来对道路边界及车道标识线进行识别。目前最常用的道路几何模型是直线道路模拟，也提出了曲线道路模型。基于模型的车道线识别可以有效地克服路面污染、阴影、光照不均等外界环境影响。但当道路不符合预先假设时，模型会失效。
基于霍夫Hough变换的车道识别算法原理
霍夫Hough变换是由霍夫于1468年提出的一种用参数来检测线性目标的方法，它将原始图像中给定形状的曲线或直线变换到参数空间的一个点，即原始图像中给定形状的曲线或直线上的所有点都集中到参数空间的某个点上形成峰值。这样，就把原始图像中给定形状的曲线或直线的检测问题，变成了寻找参数空间中峰值的问题，也即把检测整体特性（给定曲线的点集）变成检测局部特性的问题；
一般的车道有三车道或者四车道，固定的前方摄像头的视角范围内，由于车辆周围的其他车辆的遮挡，不能够稳定的提取所有的车道，能稳定检测摄像头安装车辆所在车道线。检测当前车道线，被检测的车辆中不处于前方同车道内的车辆就可以根据被检测车辆坐标与当前车道线距离关系划分为左右两侧车道内的车辆。
基于统计概论霍夫直线检测实现的车道线检测，其原理是将图像的笛卡尔坐标系统转换到极坐标霍夫空间，从而完成点到曲线的变换，对应的每个像素坐标P(x,y)被转换到(r,theta)的曲线点上面。



同一条直线上的点P(x,y)都满足x*cos(theta) + y* sin(theta) = r ，这样一组(r,theta)常量就对应了图像中位移确定的一条直线。遍历图像感兴趣区域的像素点时，不断的累加每个(r,theta)对应的数据点个数，当某一对(r,theta) 对应的统计的点数达到我们设定的阈值时就认为这些点在一条直线上，通过霍夫检测的同一条直线上的的点的个数，可以过滤掉很多干扰直线。
对于原始的车载图像，是RGB的彩色图，对于只需要提取车道线的算法，车道线是白色的，我们只需要保留有白色车道线的灰度图即可，所以对原始图的第一步处理就是灰度化。然后进行灰度均衡化，之后进行边缘检测。
边缘检测有很多方法。可以使用sobel算子或者canny边缘检测，其差别是，检测算子的模板中的权值不同，造成最后保留的边缘的细节部分有差别。
然后在感兴趣区域内寻找车道线，大大缩减图像的处理计算量，通过霍夫检测直线，找到车道线：之后标注车道线并进行相应的判断和预警。
车道线检测需要适应多种情况，通过测试，霍夫算法有良好的鲁棒性，对于白天和夜晚都具有良好的适应性。车道偏移基本功能实现，满足了对一般环境的要求，不足之处是对于曲率半径大于100的车道线还不能够识别，还需要有深入学习和算法设计。
随着计算机速度的提高，现在对车道识别越来越多采用重映射算法。其特点在于利用图像和路面映射算法得到道路图像的俯视图，然后在俯视图像中利用上述步骤对车道进行识别。这种算法可以更好地利用车道的约束条件，因而在计算机速度足够快的情况下，会具有较好的效果。
系统从直接道路模型出发，计算所有可能的直线或曲线上所拥有的车道备选点，然后利用表决法来决定车道。这种方法需要计算图像可能的区域内的所有可能直线，具有很大的计算量，因而需要利用一些特定的条件进行限制，从而可以加快处理速度。
由于高速公路的道路曲率一般很小，因而采用直线道路模型一般可以满足要求。直线道路车道识别的最后一个步骤是对所识别出的车道线进行确认，以消除一些干扰对识别的影响。系统采用的方法是：车道线的平行性、车道间的距离一致性。通过对直线（仅对可能的车道线）进行重映射处理，以检验车道的平行性和间距一致性。由于只需对可能的车道点进行重映射处理，因而极大地减少了计算量。



上述这些方法为基本的车道线检测方法，其他方法在这些方法上融合出来的，比如放射变换后使用拟合或者霍夫检测直线，加上灭点的约束等方法。霍夫直线检测方法准确、简单，不能直接做弯道检测。拟合方法不稳定，优点是可以检测弯道。仿射变换优点是可以做多车道检测，缺点是在复杂情况下，前方车辆或者其他物体容易遮挡，受干扰严重。后面延伸的很多方法讲各种方法融合到一起，但是基本的变化还是有这几种方法的影子。
车道线检测时容易丢失，为了保证检测效果的准确，使用追踪可以提升检测速度和准确率，追踪的基本思想是，车辆在前进的过程中，是一个连续的位移移动过程，对应的车道线变化也是一个连续到变化，这种变化体现在车道线的斜率上，前后两帧图像中的车道线的斜率相差不大,所在的位置也不会差到太远，所以通过控制比较前后两帧中的车道线的斜率，在之前检测到的车道线区域附近进行限定。这就是跟踪的基本思想。
车道检测完成之后， 还需要识别车道偏移。主要有基于道路模型与图像信息结合的方法和仅基于图像信息来识别车道偏离两种方法。
目前基于道路模型与图像信息结合的车道偏离警告系统采用的预警模型大致可分为：基于车辆在车道的当前位置（Car’s Current Position）、基于将来偏离量的不同（Future OffsetDifference）、基于车辆将横越车道边界的时间（Time to LaneCrossing）。特点为通过从图像中提取有用信息作为特征量，即车辆在车道中位置依靠精确定位车道线来获取车辆与车道边界的间距，简单易行但建立路面、摄像机、车辆系统的几何成像模型会受到摄像机的选取、光学镜头与摄像机的安装位置、道路类型以及车辆型号尺寸等影响。
仅基于图像信息的车道偏离预警系统采用的模型可分为：基于知识的道路场景感知（Knowledge-based Interpretationof Road Scenes）、基于对车辆在行驶中航向变化、车道夹角法。特点车道线与图像平面坐标轴夹角不会发生变化，不用进行摄像机的标定，但由于外界环境复杂会出现识别错误的情况。
当系统判断车辆处于车道偏离状态， 就会发出报警信号提醒驾驶员注意。一个车道偏离预警系统不会试图控制车辆以防止可能发生的碰撞事故。