1、基于逆透视变换的车道标志线检测算法裘伟，戴斌，吴涛（国防科学技术大学机电工程与自动化学院，长沙，410073）摘 要：在车辆自主驾驶系统中，准确快速的检测车道标志线是一项基本而又相当重要的任务。传统的完全基于图像的检测方法容易受到各种因素的干扰，为此本文提出了一种新的车道标志线检测算法。该算法在逆透视变换的基础上，进一步引入高速公路的结构约束条件，实现了车道标志线的准确检测。实验表明该算法具有很好的抗干扰性能。关键词：自主驾驶系统；车道标志线；逆透视变换；结构化道路Inverse Perspective Mapping Based Lanes DetectionQiu Wei, Dai Bin
2、, Wu Tao(Mechatronics Engineering and Automation School of National University of Defense Technology, Changsha, 410073)Abstract: Detecting the lanes exactly and fast is an essential and important task in autonomous driving system. Traditionary method totally based on lane image can easily be disturb
3、ed by many factors, so a new algorithm of detecting the lane markings is proposed in this paper. On the basis of the inverse perspective mapping (IPM) model, the algorithm uses the structural constraint of the highway and detects the lane markings exactly. The test results show that this algorithm i
4、s of good anti-jamming character.Key words: autonomous driving system, lane markings, inverse perspective mapping, structural road.1 引言智能交通系统是当今世界研究的一个热点，而车辆自主驾驶系统一直是智能交通系统的研究重点。在车辆自主驾驶系统中，一个重要的研究任务是要准确快速的检测车道标志线信息，提取车辆在车道平面中的位置。各国对此都开展了深入的研究，也取得了不少成果。德国慕尼黑国防军大学的 VaMoRs-P 系统 1使用回旋曲线作为简化的道路模型，避免了道路几何
5、复杂的重构问题，提高了系统对阴影的鲁棒性，但需要复杂的公式匹配，而且当道路不符合模型假设时会失效。由车载摄像机获取的道路图像具有强烈的透视效果，主要表现为车道标志线在图像底部较直，在灭点附近成为比较复杂的曲线，这样的车道标志线模型与世界坐标系下具有平行结构的车道标志线模型相比显然要复杂很多。为了能够使用简单的车道标志线模型展开研究，美国卡耐基-梅隆大学的 RALPH 系统 2与意大利帕尔马大学的 GOLD 系统 3,4通过逆透视变换的方法对道路图像进行处理，消除了图像的透视效果。这两个系统在假设道路宽度固定或变化缓慢的前提下，检测具有一定宽度的平行车道线，明显提高了系统对阴影和遮挡的鲁棒性，但
6、是该假设并不适于宽度变换频繁的道路。本文受帕尔马大学的 GOLD 系统 4的启发，在满足道路平坦假设的前提下，针对结构化道路下的道路特征，提出了一种新的车道标志线检测算法。该算法首先利用逆透视变换消除原道路图像中的透视效果，然后通过对逆透视变换后的图像进行处理获取二值化的车道标志线边缘图像，在此基础上，我们将结构化道路车道标志线之间的平行约束引入到Hough 变换中，检测出车道线的起始段和起始方向，并沿起始方向逐段跟踪检测车道标志线，最后通过曲线拟合得到车道标志线的参数方程。2 道路图像投影变换在欧式空间中定义两个坐标系 和 ，分别表示世界坐标系和图像坐标系：WI3(,)xyzE2Iuv本文逆
7、透视变换的实质就是将图像坐标系 下的道路图像（也就是车载摄像机所获取的图像）变换到世界坐标系 下的 平面中，两者关系如图 1 所示。0z 车 体 中 心 xyz 光 轴 摄 像 机 lhu v 世 界 坐 标 系W图 像 坐 标 系 I 车 头 方 向 下 的0z平 面 d图 1 逆透视变换关系示意图车载摄像机安装在车体中的位置在世界坐标系下的坐标为 （见图 1、图 2、图(,)dlh3） ，摄像机标定的其它参数如下：摄像机光轴 在 平面的投影与 轴的夹角（见图 2） ；0zy：摄像机光轴 偏离 平面的角度（见图 3） ；：摄像机的视角（见图 2、图 3） ；2：摄像机水平方向分辨率；xR：摄
8、像机垂直方向分辨率。y图 2 世界坐标系下的 平面 图 3 世界坐标系下的 平面xoy yz通过简单的坐标系变换，求得 到 的逆透视变换的模型如下：IW22()sin()11co0yxhctguvdRRlz逆透视变换前后的图像如图 4 所示。(a) 原道路图像 (b) 逆透视变换后的准俯视图图 4 逆透视变换前后图像3 图像预处理由车载摄像机采集到的道路图像除了包含车道信息，还包含了路面障碍、车道旁以及远处的人或物和天空等非车道信息，而这些信息都会影响到对车道标志线的检测。所以，在进行车道线检测前，需要进行预处理。本文所采用的图像预处理主要包括三个步骤：中值滤波、边缘检测和阈值分割。3.1 中
9、值滤波建立一个 33 的滤波器滑动窗口，按从左到右，从上到下的顺序对输入图像进行检测，对窗口内的 9 个像素点灰度值进行排序，取它们的中值作为窗口中心像素点的灰度值，遍历整幅输入图像后即实现了对图像的中值滤波。滤波后的图像在一定程度上去除了大噪声的影响，便于后面的处理。3.2 边缘检测为了得到车道标志线的信息，最直接的方法就是提取车道标志线的边缘。利用边缘增强算子不仅可以得到车道线的边缘信息，还可以在一定程度上克服光照不均的影响。常用的边缘算子有：Robert 算子、Sobel 算子、Prewitt 算子等，本文采用 Robert 算子对图像进行边缘检测。Robert 算子是一种利用局部差分寻
10、求边缘的算子，假设像素点 处的灰度(,)ij值为 ，那么，利用 Robert 算子进行边缘检测则有：(,)gij 22(,)(,)1,)(1,)()Rijgijjgiji用 代替像素点 处的原有灰度值，遍历整幅图像后，就得到车道标志线的(,)ij边缘图像。3.3 阈值分割经过边缘检测，车道标志线已经基本从图像中提取出来，但是为了进一步降低道路边沿以及远方景物在车道标志线检测中的干扰和影响，并将得到的灰度图像二值化，本文采用了基于幅度的图像分割方法。基于幅度的图像分割方法是根据图像的灰度来设置相应的阈值，把图像划分成不同的区域，从而实现图像的分割。图像分割的关键问题在于如何确定阈值。对于复杂的车
11、道图像，因为光照条件、天气情况的不同，不同图像中前景与背景之间的灰度反差可能大有不同，这样的情况下，人为给定阈值或者简单地通过直方图计算确定阈值都很难做到将前景与背景准确的分割开来。本文采取迭代阈值法，通过多次迭代计算，求取车道图像对应的最佳阈值，并对图像进行二值化操作，实现前景与背景的分割。基于迭代的阈值能区分出图像中的前景和背景的主要区域所在，对于分割的精确性有了很大的提高，有利于后面车道标志线的检测和提取。首先，我们设初始阈值为 0maxin2gTh其中， 和 为图像中的最大和最小灰度值。然后，根据阈值 将图像划分成 Amaxgin kTh和 B 两个区域，求取两个区域的平均灰度为， ，
12、(,)(,),1kkgijThAijij(,)(,),1kkgijThBijij0,2则新的阈值为 12kABh重复以上步骤，直到 算法停止，得到最佳阈值 。根据得到的阈值对图像1kTh1kTh进行二值化操作，结果图像如图 5 所示。图 5 预处理后结果图像4 车道标志线检测在上文中，我们对输入图像进行了预处理，得到了道路图像的二值化图像。图像中可以看出比较明显的车道标志线信息。本文对车道标志线的检测主要分为 3 个步骤：车道线起始段的检测、车道标志线跟踪检测和标志线拟合。4.1 检测起始段我们采用 Hough 变换的方法检测车道标志线的起始段。算法首先检测图像底部附近符合车道标志线特征的直线
13、，但是，因为在图中的车道标志线除了车辆所在车道的左右标志线外，还存在邻车道的标志线，用 Hough 变换搜索车辆所在车道的标志线可能会受到其干扰，所以，我们需要定义一个搜索范围，尽可能降低邻车道标志线的影响。假设原图像大小为 ，根据摄像头在车体中的安装位置和角度，我们发现宽度 WidthHeigt 13Width、高度 的区域车辆所在车道的底部标志线信息比较丰富，而受23142eiht邻车道标志线的影响也比较小，所以我们只对该区域的逆透视图进行搜索，不考虑其它区域的影响，并对 Hough 变换加入了以下几点约束：(1) 考虑到车辆紧挨一边标志线行驶的极端情况，检测到的标志线底部距离图像底部中心
14、（约为车辆中心点）距离不超过 1 个车道宽度；(2) 左、右标志线的大部分信息分别分布在图像的左半和右半区域；(3) 逆透视图中，标志线与竖直方向的夹角不会太大；(4) 检测到的左右标志线应当保持平行的关系。根据以上约束，我们用 Hough 变换对车道线起始段进行搜索的算法如下：(1) 屏蔽二值化图像中宽度 、高度 的区域以外像素13Width2it14Height2it点的影响，生成逆透视图，作为 Hough 变换的搜索区域；(2) 在逆透视图的左半和右半区域分别搜索与竖直方向夹角在 030范围以内的直线，两条直线分别交图像底部于点 A、B，交图像顶部于点 C、D；(3) 假设图像中心点为点
15、 O，若 或 （考虑到误差影响，这里选85Ax85BOx取 85 个像素，即略大于一倍车道宽度的距离） ，返回(2)重新搜索左半区域或右半区域的另一条直线，若 且 ，转(4) ；85OAxB(4) 若 ，我们认为检测到的两条直线满足平行的约束条件，选()()10BDCx取直线底部 L 像素长度的线段作为左、右标志线的起始段；否则返回(2)重新搜索。虽然 Hough 变换检测到的是两条直线，对于弯道并不完全适用，但是由于高速公路设计规范 5要求道路具有连续且较小的曲率，所以在逆透视变换后的图像中，车道标志线的曲率也很小，因而采用上述算法对车道线起始段进行检测无论对于直道还是弯道都是适用的。4.2
16、 跟踪检测当得到起始段后，我们可以沿着起始方向逐段跟踪检测车道标志线，用很多首尾相连的直线段近似车道标志线。因为高速公路上的道路具有连续且较小的曲率，所以我们可以通过选择合适的直线段长度以及搜索范围来跟踪检测车道标志线这条“白线” ，具体算法如下：(1) 设左、右车道标志线的起始段参数为 、 ， 、00(,)Lxy00(,)RxyL表示左右起始段与 轴的夹角， 、 表示左右起始段的上端点坐标；0Ry0(,)LxyR(2) 搜索以 、 为下端点、与 轴的夹角在 、 范0(,)Lx0(,)R 015L0R围内的 L 像素长度的直线段，记经过图像上“白点” （像素值为 255）最多的直线段与 轴y的
17、夹角为 、 ，并记经过的最大白点数为 、 ；1R LKR(3) 由于车道标志线可能是虚线或者因为光照、阴影等原因，白线在某些区域可能断开。算法利用两条标志线之间的平行约束关系，认为用一边检测到的直线段与 轴的夹角y可以近似跟踪检测另一边断开的标志线。用公式表达为：；111010, if,0 i,f LRLRLLRLRK(4) 由几何关系很容易可以得到检测到的直线段上端点坐标为： 101101sinco isLLRRxy故检测到的直线段参数分别为 、 ；(,)Lxy(,)Rxy(5) 按照步骤 24 可检测得到第 n 条直线段参数为 、 。(,)Lnn(,)Rnnxy跟踪检测的结果图像如图 6
18、所示。(a) 直道 (b) 弯道图 6 标志线跟踪检测结果图像4.3 标志线拟合将前面跟踪检测得到的车道标志线信息点 ， ， 和0(,)Lxy1(,)Lx(,)Lnxy， ， 分别用最小二乘法进行多项式拟合，为了在保证精0(,)Rxy1(,)Rxy(,)Rnxy度的前提下提高运算速度，我们采用二次多项式拟合。以拟合左标志线为例，选取二次曲线 作拟合，记201()fxax， ，012aA1LLnyY0212LLnPx则 ，20032340001nnLiiiTiiLiinnnLiiiixPxx020nLiiTiinLiiyPYxy由 即可解得拟合多项式的系数矩阵 ，得到左标志线的拟()TTAY 1
19、()TAY合曲线方程。拟合过程通过模型的作用，将近似跟踪的结果变成精度较高的拟合曲线，提高了检测的可靠性。拟合结果如图 7 所示。(a) 直道 (b) 弯道图 7 标志线拟合结果图像5 结论本文提出了一种基于图像逆透视变换后的车道标志线检测算法。由于本文在图像逆透视变换的基础上，进一步引入了平行等多种约束条件，从而使得车道线检测的准确性和鲁棒性得到了加强。逆透视变换下车道线的平行约束条件只适用于平坦路面下的直道。对于地面起伏情况下的车道线，平行约束不再得到满足。如何适当引入该种情况下的关于车道线的合理约束，将是我们下一步的研究内容。参考文献：1 E.D.Dickmanns, R.Behring
20、er, D.Dickmanns, T.Hildebrandt, M.Maurer, F.Thomanek and J.Schielen. The Seeing Passenger Car VaMoRs-PC. Proceedings of IEEE Intelligent Vehicles. 1994:68-73.2 D.A.Pomerleau. RALPH: Rapidly Adapting Lateral Position HandlerC. Proceedings of IEEE Intelligent Vehicles. 1995:506-511.3 Massimo Bertozzi,
21、 Alberto Broggi, Gianni Conte, Alessandra Fascioli. Vision-Based Automated Vehicle Guidance: The Experience of the ARGO VehicleC. Artificial Intelligence and Pattern Recognition Techniques for Computer Vision. 1998:35-40.4 Massimo Bertozzi, Alberto Broggi. GOLD: A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane DetectionJ. IEEE Transactions on Image Processing. 1998,7(1):62-81.5 交通部第一公路勘察设计院， “公路路线设计规范（JTJ01194） ”，人民交通出版社，1994论文作者：裘伟，戴斌，吴涛所属院校：国防科学技术大学机电工程与自动化学院通讯地址：湖南长沙国防科技大学三院五队，410073联系电话：13873131024电子信箱：
