1、结合图像深度重定义去雾模型的雾天车道线特征提取方法郑军 1，姚剑敏 1，郭太良 1(1 福州大学平板显示技术国家地方联合工程实验室，福建，福州 350002)摘要：为了解决雾天车道线特征不清晰、车道线特征分割阈值选取困难的问题，本文提出了一种结合图像深度重定义去雾模型的雾天车道线特征提取方法。首先，将采集装置与道路之间的实际场景映射到几何模型上，其次，在抽象好的几何模型上提出图像深度图的定义，并根据图像深度图以及雾天图像模型计算去雾之后的图像，最后，利用图像 HSV 颜色模型，构建图像分割模型，对车道线特征和非车道线特征进行初步分割，并结合 OSTU 阈值调优方法对车道线特征进行二次分割。实验
2、结果显示，去雾之后车道线特征清晰，阈值分割比传统的 OSTU 分割效果更好，最终非车道线特征的占比要比基于灰度算法的减少平均 14%。关键词：图像深度重定义；HSV 颜色模型；直方图统计；OSTU 阈值调优Method For Extracting Lane Features Combining With The Characteristics Of Image Depth Redefined Dehazing ModelZheng Jun1 ,YAO Jian-min1,Guo Tai-liang1(1 Flat panel display technology of national an
3、d local joint engineering laboratory，Fuzhou University，Fuzhou 350000，China)Abstract: In order to solving the question of lane line feature that is not clear in the fogging weather and the difficult in adaptive choosing lane line feature segmentation threshold, this paper proposed a method for extrac
4、ting lane features combining with the characteristics of image depth redefined dehazing model. Firstly, it mapping the geometry model between acquisition device and the road image, secondly, proposed the definition of depth image based on the model before, and, basing on the depth image and image fo
5、gging model to calculate the image with none fogging, finally, using HSV color model to construct the model of image segmentation to do the preliminary segmentation, also, using OSTU threshold tuning methods to do the secondary segmentation. The experimental results show that, the lane line features
6、 are more apparent, threshold segmentation effect is better, and the feature beyond the road lane is average decreased nearly 14%.Key Words: Image Depth Redefined; HSV color model; the histogram statistics; OSTU threshold tuning1 引言在基于计算机视觉技术的车辆自主导航系统里，道路的检测是整个系统的关键，而实际中的道路的场景千差万别，检测方法也呈现多样性。其中，车道线特
7、征检测作为道路检测中的关键组成部分，结构化道路中道路特征多有白色或黄色的标线，往往给定了道路的边界，以及道路的组成信息，从而，车道线的检测问题转化为对一幅图像中的特定特征的提取问题。常见的基于机器视觉的车道线的检测方法很多，如模板检测、反透视变换、区域生长等等，模板检测 1，其检测精度依赖于模板的选取，很难找到一种适用于大部分道路的模版；对图像进行反透视变换 2-3，首先依赖于摄像头的标定参数，其次反透视变换函数的选取比较复杂；而区域生长法 4，在车道线区域灰度值不均匀的情况下确定生长准则难度大。因此，得到一幅车道线特征良好分割的图像对后续的检测非常重要。随着环境变的越来越恶劣，雾、霾天的频繁
8、出现，道路特征的提取也越来越难，现在对图像的去雾化方法大致分为两类，第一类是基于模型的去雾方法，即通过找到图像雾化的内在原因，构建图像模型，然后进行逆运算来改善图像的对比度，使之更加接近无雾时的图像；如基于偏微分方程的去雾模型、基于深度关系的去雾模型、基于先验信息的去雾模型等；另一类方法是基于非模型的算法，也称作图像增强运算，即有目的地强调图像的整体或者局部特征，使得所需部分显示清晰，如直方图均衡化、同态滤波、小波变换等去雾方法。基于暗通道的去雾算法在对图像进行去雾处理时能取得比较好的效果 5，其对一些风景照片处理效果都不错，但是其过分依赖统计数据得到的暗通道图像，对灰度图像无法操作；直方图均
9、衡化的去雾算法在对图像直方图统计的基础上，只是通过调整扩展有效亮度区域来实现图像的增强去雾方法，其缺乏对图像景深的描述，无法达到针对性去雾效果；在单一颜色或灰度图像的快速能见度恢复算法中 6，提出了一种经过滤波、图像平滑处理以及色调映射的方法对图像进行去雾，但是对图像产生的失真较大；由此可见提出一种针对特定特征的、灰度和彩色空间下均可执行的去雾算法，在道路检测领域也越来越重要。本文提出了一种在 RGB 空间或灰度空间下的雾化图像中实现车道线特征良好分割的方法，首先，利用道路区域在图像中的场景深度分布构建去雾模型，增强车道线特征信息，其次，结合亮度空间与饱和度空间关于车道线位置的信息，在 HSV
10、 颜色空间里对图像进行几何变换，最后在 OSTU 算法求得的阈值基础上，结合图像直方图统计中车道线特征所占的区间对阈值调优，使得分割效果更好。2 常见的去雾模型在机器视觉和图像处理中，雾化图像广泛使用的模型 7-10：（2.1.1）(,)=(,)(,)+(1-(,)其中 为已有的图像， 为要恢复的无雾的图像，A 为全球大气光成分，一般取(,) (,)， 为透射率且 ， 为图像场景深度分布，r 为大气散射系数。=(,) (,) (,)=(,) (,)我们常说的去雾方法，就是要得到公式（2.1.1）中的 。(,)2.1 基于暗通道的雾天道路图像处理方法经典的基于暗通道的去雾算法的思路是，在 RGB
11、 颜色空间里对每个像素点 R、G、B 在给定的窗口中进行最小值滤波，一般取它的窗口大小为两倍的滤波半径，如公式（2.1.2）所示：（2.1.2）darkcyxcr,gbJminJy如图 2-1 所示，去雾前后路面细节得到一定的清晰化，但是发现在图像靠近右侧部分的车道线信息被弱化了，而且由于其暗通道的得到多依赖于于图像多通道的属性以及其基于统计的经验公式，因此在单通道的处理上无法满足要求。 (a) 原图 (b) 暗通道去雾图图 2-1 基于暗通道去雾前后图像对比2.2 直方图均衡化图像去雾方法直方图均衡化的算法主要是对图像进行进行非线性拉伸，对图像内的像素分布做一重新分布，如公式（2.2.1 ）
12、所示，实现 f 到 g 的映射，其中， 是一单值单增函数。（2.2.1）=()图 2-2 所示是利用直方图均衡化对图像进行处理的效果图，在图像底部区域确实实现了车道线特征的清晰化处理，但是除此之外，整个图像的其他地方只是亮度增强，并没有实现比较好的清晰化，而且其抛弃了经典雾化图像所使用的广泛模型（2.1.1） ，没有结合图像的深度信息，导致图像处理效果比较差。(a) 原图 (b) 图像均衡化去雾图图 2-2 图像均衡化去雾前后图像对比2.3 单一颜色通道或灰度图像的快速能见度恢复去雾方法算法从公式（2.1.1）出发，定义大气的雾化强度为 ；通过中值滤波的方式求(,)=(1(,)得 ，如公式（2
13、.3.1）至（ 2.3.3）所示：(,)（2.3.1）(,)= (min(,),(,),0)（2.3.2）(,)= (,) (|)(,)（2.3.3）(,)= ()(,)其中 W 为局部平均值，p 是用来控制可是图像修复的系数，0-1 之间取值， 是中值滤波的平方函数。其忽略单独的图像景深信息，而转而将其融入大气雾化强度中处理，通过对图像的中值滤波，确定其定义的大气雾化强度信息，结果如图 2-3 所示，从图中可以看出，依赖于中值滤波的图像去雾处理，从图像上来看，在车道线处的特征比原图要清晰，但是整幅图像产生的失真较大，特别是道路区域产生很多的影响因素使得后续的处理困难。(a) 原图 (b) 快
14、速能见度恢复去雾图图 2-3 快速能见度恢复去雾前后图像对比综上所述，基于暗通道的去雾方法能得到相对去雾效果不错的图像，但是由于其算法基于 rgb 通道的统计结果的经验公式，使得算法在单通道情况下无法进行去雾处理；经典的直方图均衡化去雾方法没有参照雾天道路模型，使得处理效果比较差；快速能见度恢复算法中，其依赖于中值滤波对自定义的大气雾化强度进行计算，图像特征得到加强，但是整幅图像带来的失真效果比较大。如果没有深度图的信息，将无法得到图像中的不同位置的像素灰度分布规律，不能表达雾存在对图像灰度的影响。本文提出了一种图像深度图重定义的去雾模型，利用雾天道路模型中的图像深度图，改善了快速能见度恢复算
15、法中图像的失真，此算法在单通道的图像中也可以实现比较好的去雾效果，并结合优化的阈值分割方法得到最终的车道线特征。3 基于深度重定义的图像去雾以及车道线特征提取方法3.1 算法框架本文采用的算法流程如图 3-1 所示，首先对输入图像进行预处理，选取算法处理图像区间，其次，在去雾过程中，先通过对道路图像和采集设备的几何位置关系的分析，确定自定义深度图的基础，然后提出了一种归一化的各像素点的深度位置的定义，最后将其应用于公式（2.1.1）得到去雾之后的图像，并融合 HSV 颜色空间分割方法，得到比较清晰的车道线特征，最终经过 OSTU 算法阈值调优，形成一整套的图像去雾、车道线特征提取的模型，最终得
16、到输出图像。图像预处理是否进行去雾图像场景构建 （ 依赖于摄像头 ）H S V 颜色空间初步分割基于 O S T U 的阈值调优是否I n p u t O u t p u t图像深度图定义应用于雾天模型图 3-1 基于深度重定义去雾以及车道线特征提取算法流程图3.2 图像预处理实际情况中车载摄像头拍摄到的整幅图片包含有天空部分信息，对车道线特征影响较大且处理起来速度较慢，本方法设定 ROI 区域为下半部分图像，如图 3-2 所示：(b) 原图 (b)ROI 区域设定之后的图图 3-2 图像预处理如图 3-2 所示，原图天空中白色区域较多，设定 ROI 区域之后的图像其去除了大部分天空信息。3.
17、3 基于深度重定义的图像去雾算法车辆驾驶过程中，车载摄像头或者其他类似图像采集的设备总是以车辆为图像采集的中心点，采集来的图像在道路区域内的分布满足一定的规律，因此本文提出了一种根据去雾模型、摄像头和道路的位置关系来进行去雾处理的方法，即采集到的道路图像，从中间往两边，从近处到远处的变化呈现一定的规律，如图 3-3 所示。采集中心线左区域右区域图 3-3 道路采集图像模型左右区域关于采集中心线对称，对应于图像中每个像素点和图像宽（w） 、高（h）之间的关系形成的关于路面的场景深度分布，如公式（3.3.1）所示：（3.3.1）(,)= ()2+(2)22+(2)2h 为图像的高，w 为图像的宽，
18、 a 为变换因子，其中 为归一化之后的图像场景深度分布图。其(,)中(x,y)可归属于图像中任何区域，可应用于动态区域去雾。令 ， ， ，因此透射率 可表示为公式（3.3.2 ）：=2+(2)2 (,)=2+2 (,)=+2 (,)（3.3.2）(,)=1+(,)(,)将公式（3.3.2）代入公式（3.3.3）计算，得到最终去雾之后图像：（3.3.3）(,)(,)(,),IxyAtxyJ此方法可根据图像的大小得到路面的场景深度分布，在处理视频序列时候，只需进行一次计算而后均可使用，而且从图中可以看出，改进后的去雾方法在车道线特征细节上保留的比较多，且整个图像的细节也比较丰富，与经典暗通道去雾算
19、法对比效果如图 3-4 所示：(a) 原图 (b) 本文算法处理图图 3-4 本文算法与经典暗通道去雾算法效果图对比由图 3-4 可见，在处理道路图像中加入去雾算法，可对道路中车道线特征进行增强，为后续的特征分割提供更好的处理环境，当然，在实际运用过程中，在没有雾、霾天气的时候，也可选择禁用此模块，以取得执行速度的提升。3.4 HSV 颜色模型初步分割图像与二次分割阈值调优在 3.3 中对图像进行去雾处理之后，就可以对图像上车道线特征进行分割了。首先，根据车道特征在 HSV 空间取值规律，即白色特征在饱和度（S ）空间的取值为 0 的，对图像中颜色分布作公式（3.4.1）的变换，一方面突出白色
20、特征，另一方面让一些背景信息、路面干扰信息适当弱化，比在 RGB 空间进行处理效果更好。（3.4.1） =1 其次，将 3.3 中处理好的图像或将 3.1 中预处理之后的图像进行 HSV 空间分解，在亮度空间 V 做高斯变换：（3.4.2）=2(,)/22（3.4.3）=公式（3.4.2）在对亮度空间处理时，灰度级较大区域的值进一步加大，但是通过公式（3.4.3）的变换之后，灰度级大的非车道线特征会得到抑制，图 3-5 是图像中某一行数据做 HSV 颜色空间初步分割的像素点灰度值分布，可以发现，相比于原图而言，非车道线区域的波动范围得到抑制，而且直观的感受是车道线部分与非车道线部分的分界线明显
21、，图 3-6 显示的是实际的图像处理结果，此初步分割过程明晰了车道线的特征，为后面的阈值分割奠定了基础。(a)未经过 HSV 颜色空间分割的图 (b)经过 HSV 颜色空间分割的图图 3-5 图像中某行数据的两种方法对比结果(a)未经过 HSV 颜色空间分割的图 (b)经过 HSV 颜色空间分割的图图 3-6 HSV 颜色分割对比本文利用 OSTU 算法得到自适应的图像分割阈值 L，以 L 对应的灰度级作为初始灰度级，以步进为 0.1做区间（L ，1）上的直方图统计，求的出现统计数目的最大值对应的灰度级作为图像分割的阈值，其处理的过程如图 3-7 所示：O S T U 阈值( T )输入图像T
22、 A Y 阈值为 T在 A 到 1 之间做直方图统计极大值T 阈值 T N图 3-7 OSTU 阈值调优算法流程图图中 ，是给定的阈值调优上限，可根据具体的图像状况自行调整，当运用 OSTU 算法所得(0,1)A的阈值大于 时，则不需进行优化，而当阈值比较小的时候，采用图中所给流程就行阈值调优，其基本思路是对一些道路特征不那么明显的图像，进行进一步阈值增加，以期在原有的阈值分割基础上对车道线特征进行进一步的分割，本文中 的取值为 0.8。A图 3-8 对比了单独用 OSTU 算法做阈值分割和进行调优之后的阈值分割图的效果，从图中可见阈值调优后的图中减少了很多非车道线特征。(a) 基于 OSTU
23、 算法的二值化图 (b) 进行阈值调优之后的二值化图图 3-8 阈值调优前后的效果对比图3.5 量化结果说明非车道线特征占比的多少在直观上直接反应车道线特征分割的效果，本文用 表示经本文算法改进后非车道线占比的减少量，如公式（3.5.1）所示：（3.5.1）=*10%toalS非 非表示经典方法中非车道线特征的像素和， 表示应用本文算法之后非车道线特征所占像素和，S非 非表示未经本文方法处理图像的像素和，本文对 100 张随机的道路图像进行处理，其 的结果范围在toal ， 。12.9%6.3=14.24 实验结果和总结图 4-1 中对比了 2 中描述的算法与本文方法的实际图像处理结果，图 4
24、-1（a）所示是暗通道去雾灰度图，将原图结果做了灰度转换，因为其无法对单通道进行去雾处理；图 4-1（b）所示运用传统的直方图均衡化算法对图像进行去雾处理，其在整体上扩展有效亮度区域，而没有考虑到图像景深与去雾模型间的关系，相反的其还突出了天空区域的亮度信息，对车道线的分割产生比较大的影响；图 4-1（c）显示的就是应用快速能见度恢复算法处理得到的效果图，图像处理效果产生比较大的失真，整体效果处理不够完善；而 4-1（d）所示的是在同样的灰度空间下本文算法的去雾效果，一方面突出单通道、灰度图去雾能力，另一方面由于本文方法能更好地反映图像中景物的深度关系，因此图像特征处理清晰。(a) 暗通道去雾
25、（灰度图） (b)直方图均衡化去雾图 (c)快速能见度恢复方法去雾图 (d) 本文算法处理图图 4-1 本文算法与其他去雾算法效果图对比在表 4-1 和表 4-2 分别给出了图 4-1 第一组和第二组图像其衡量去雾效果图估计数据表，如公式（4.1.1）至（4.1.3）所示， 表示可见边缘占比， 表示可见的边缘梯度比例， 表示变换后变纯白或者纯 黑的像素的占比 11：（公式 4.1.1）=（公式 4.1.2）=1 （公式 4.1.3）=公式中 和 分别表示去雾前后的可视边缘集合数目， 图片修复的质量率， 表示变化前后纯黑或 者纯白像素的数目， 和 表示图像的宽高。 一般 值越大越好， 值越大越好
26、，而 值越小越好 12。 名称 暗通道去雾 直方图均衡化 快速能见度恢复 本文方法1.013 0.452 0.141 1.1212.341 0.671 1.261 2.312 0.010 0.006 0 0表 4-1 第一组数据结果对比名称 暗通道去雾 直方图均衡化 快速能见度恢复 本文方法0.215 0.101 0.023 0.3311.136 1.412 1.124 2.012 0.006 0.007 0 0表 4-2 第二组数据结果对比图 4-2 实验结果图图 4-2 展示的是最终车道线特征的分割图，在复杂环境下还能分割出大部分的车道线特征，表示本文算法在雾化道路图像中能实现车道线特征的
27、良好分割，并且能很好的抑制了非车道线信息。首先，本文对现在的受雾、霾天气影响的情况下的道路采用去雾算法，使得道路的车道线的特征更加清晰，作为单个模块，可将其应用到类似需要做图像增强的需求中去，减小后续处理的难度，同时提高检测的准确率；其次，基于 HSV 颜色模型对车道线特征进行初步分割，在亮度空间和色度空间做指数变换，弱化道路以及环境干扰信息，初步分割效果良好；最后，在对初步分割的图像进行直方图统计时发现，在车道线灰度级处会出现极大值，以此对应的阈值作为整幅图像的二值化阈值，分割良好。应用本文算法使得图像中非车道线特征的占比能减少平均 14%。参考文献1李冬霞, 曾禹村. 基于速度特征矢量提取
28、运动目标的图像分割方法期刊论文-北京理工大学学报2000(03).2AUFRERE R, CHAOUIS R, CHAUSSE F. A model driven approach for real-time road recognition. Machine Vision and Applications. 01/2001; 13:95-107. 3蒋刚毅,郁梅. 基于车道标线分解的车道检测期刊论文-计算机工程与应用 2002(02).4刘涛,黄席樾. 高速公路弯道识别算法期刊论文-重庆大学学报 2003(07).5Kaiming He, Jian Sun, Xiao ou Tang. Si
29、ngle Image Haze Removal Using Dark Channel Prior J.IEEE PATTERN ANALYSIS AND MACHINE INTELLIGANCE,2009.6J. Tarel and N. Hautiere, “Fast visibility restoration from a single color or gray level image,” in Proceedings of IEEE International Conference on Computer Vision, 2009, pp. 22012208.7S.G. Narasi
30、mhan and S.K. Nayar,Vision and the Atmosphere,Intl J.Computer Vision,vol. 48, pp. 233-254, 2002.8S.G.Narasimhan and S.K.Nayar,Chromatic Framework for Vision in Bad Weather, Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol.1,pp.598-605,June 2000.9R. Fattal,Single Image Dehazing,Proc.ACM
31、SIGGRAPH08,2008.10R.Tan, Visibility in Bad Weather from a Single Image, Proc. IEEE Conf. Computer Vision and Pattern Recognition, June 2008.11 N. Hautire, J.-P. Tarel, D. Aubert, and E. Dumont. Blind contrast enhancement assessment by gradient ratioing at visible edgese. Image Analysis & Stereology
32、Journal, 27(2):8795, june 2008.12 Hyungjo Park, Dubok Park, David K. Han, Hanseok Ko. Single image haze removal using novel estimation Of atmospheric light and transmission.IEEE. The International Conference on Image Processing .2014.作者简介:郑军(1990-)，男，硕士生，主要研究方向为信息显示系统。姚剑敏(1978-)，男，硕士生导师，主要研究方向为视频图像处理、模式识别。郭太良(1963-)，男，博士生导师，主要研究方向为场致发射阴极材料及器件研究。
