1、基于移动激光点云的交通标志牌特征提取瓮升霞，陈一平 1*(厦门大学信息科学与技术学院,福建 厦门,361005)摘要：针对有效采集到的道路两旁高密度点云数据，本文提出了一种基于移动激光测量技术进行户外交通标志牌的自动检测方法。首先阐述基于交通标志牌反射率的检测方法，利用交通标志牌在点云中的反射强度与其他地物目标区别较为明显的特性进行目标提取。再结合基于交通标志牌的形状特征检测方法，通过提取杆状物并分析杆状物中非杆状部分的维度特征，提取出具有面状维度特征的目标物作为所要检测的交通标志牌。最后综合检测结果，有效检测到点云数据中的交通标志牌，且召回率优于常用的基于反射率的方法，实验表明该方法能够取得
2、好的提取结果。关键词：移动激光扫描；交通标志牌检测；主成分分析交通标志牌作为一种重要的交通基础设施，可以为驾驶员和行人提供道路指引信息，规范驾驶员行为的同时也起到了便利交通、保障安全的作用。鉴于此，交通部门定期对交通标志牌的测绘数据进行更新和维护。传统的测绘技术效率低，且受天气地形等因素影响。采用现代移动测量技术，移动激光车载系统沿道路行驶，可有效获得高精度点云数据和动态影像，极大的削减了人工成本，减少了人为误差。对于获得的点云数据，人工检测显得尤为繁琐，自动化提取越来越成为未来的发展方向，但是需要高效的检测率才能真正应用于实际场景中。基于视频图像的交通标志牌检测已经进行了十多年的研究 1,2
3、,3，图像的采集需要较好的天气和光照条件对目标物的位置进行正确的识别。然而，点云数据获取即使在恶劣的天气条件下也能完成。与在交通工程中普遍应用的人工视觉系统相比，激光扫描对点云的采集更加准确，密度也更高 4,5，例如，RIEGL VMX-450 移动激光扫描系统每平方米可以采集到高达 7000-8000 多个点的三维点云数据。移动激光雷达系统可以完全捕获道路环境，包括真实的地理空间信息和回波反射能量，其中回波反射可以反映物体表面的材料特性。因此，利用移动激光雷达技术对城市道路目标进行采集是非常理想的。近年来，基于移动激光雷达技术的道路目标提取也取得了一定的进展。Yokoyama 等 6提出了一
4、种基于拉普拉斯算子平滑和主成分分析的杆状物提取算法。在该方法中，拉普拉斯算子用来对数据进行平滑处理，以消除数据中的噪声点和数据点的分布偏差。而主成分分析过程则用于对平滑后的数据分段进行特征分析，并从中检测柱状结构目标。Shi Pu7等利用形状先验知识和拓扑结构来识别道路结构。董震 8等通过从原始点云中生成多尺度超体素，在进行体素分割后根据分割区域的显著性进行邻域聚类，最后结合聚类区域的几何特性来判断目标所属类别。由于交通标识牌一般由高反射材料制成，具有清晰可见性，因此点云数据中的反射强度信息可以有效的将标志牌与道路其他目标区别开来，从而广泛的应用于交通标志牌检测中 9,10。另外，基于模板驱动
5、的方法也用于检测交通标志牌 11,12，利用交通标志牌的高反射强度、对称性等特征来实现检测。交通标志牌的检测依然存在着一些待解决的难点，主要在于：交通标志牌往往会被其他目标遮挡，如树枝，路灯等，导致检测难度增大；标志牌长期在户外，难免会有损毁老收稿日期：2015-12-18 录用日期：2016-02-23基金项目：重点实验室科技基金项目（9140C800401150C80339）*通信作者：化，致使它的反射率达不到标准水平；杆部可能倾斜变形；在采集数据的过程中，一些离扫描设备比较远的标志牌在点云中的密度较低，影响检测效果。因此，一个鲁棒的检测算法应该克服这些难点，得到精确的检测结果。目前基于三
6、维点云进行交通标志牌提取的研究主要分为基于分割和特征识别的方法和基于反射强度的方法，前者主要受限于分割算法，由于自然场景的复杂性，重叠在一起的目标很难被分割开。因此，对标志牌检测的算法性能产生一定的影响。另一方面，基于反射强度的方法也有其缺陷，由于该方法主要通过标志牌在点云中的高强度值与其他道路目标区分开来，如果交通牌因老化而褪色，或是数据采集时由标志牌的反面扫描，会导致点云中标志牌的反射强度缺乏明显的区分度，基于反射强度的检测方法就会发生漏检。基于以上分析，本文综合运用两种方法进行交通标志牌检测，既可以弥补基于反射率的检测算法在交通牌的强度值与其他地物目标未明显区分时导致漏检的缺陷，又可以对
7、两种方法的检测结果相互验证。1 方法本文提出了基于反射强度和形状特征相结合进行交通标志牌检测的方法。基于反射强度的检测方法利用交通标志牌在点云中的高强度特性进行检测，并在后续聚类过程中定义规则以获得含有交通标志牌的聚类。基于形状特征的检测方法首先从点云中识别杆状物，通过分析杆状物中非杆状部分的维度特征，提取出具有面状维度特征的目标物作为所要检测的交通标志牌。最后将两次检测结果进行叠加和合并形成最终的检测成果。工作流程如下：地面滤除标志牌检测结果点云聚类提取具有面状维度特征的目标物杆状物检测反射强度过滤标志牌检测结果点云聚类点云数量滤波交通标志牌最终检测结果海拔滤波 高度滤波图 1 交 通 标
8、志 牌 检 测 流 程 图Fig.1 The flowchart of traffic sign detection1.1 基于反射率的检测1.1.1 反射强度滤波扫描得到的点云数据一般包含空间坐标、反射强度以及颜色信息，其反射强度受扫描距离、扫描角度、目标材质及传播介质等因素影响。为了行车安全，交通标志牌使用高反射率的材料进行喷刷，反射率的值必须达到国家安全生产标准的规定值。理论上，激光回波强度与地物目标的反射率成正比关系，即反射率越大，点云反射强度值越高。因此在点云中，交通标志牌的反射强度比其他目标都要高。尽管点云的反射强度也会受大气衰减、激光入射角度等多种因素的影响，还是能够区分介质属性
9、区别较明显的目标。通过将反射强度的阈值设定为超出某一值，道路场景中的大部分非目标物都将被滤除 10。阈值的大小需要经过实验进行调整以获得最佳滤波效果。滤波后的点云仍包括除交通标志牌之外的其他高强度目标，如汽车牌照、路锥等，需要进行进一步处理。1.1.2 欧式距离聚类聚类的目的在于将离散、无组织的数据划分成一系列具有一定空间拓扑结构的三维语义目标，使每个目标中的数据“相似”或“相近” ，而不同目标中的数据差异尽可能大。欧式距离聚类是一种根据相邻点之间的欧式距离关系进行划分的方法，其原理是：对于含有n 个数据点的集合 ，随机选取 1 个点 ，并标记为已聚类点，将12,nXx ip为球心， 为半径的
10、球形区域内的所有未聚类点标记为已聚类状态，并且给以相同的ipcd类别标识 。接着，对于每一个被标记的点，重复上述过程，直到 已无法再吸收新的点，iL iL在数据集合的未标记点中再次进行随机选取。当数据集中所有的点都已经被标记，该递归聚类过程结束。初始聚类之后，部分聚类中包含感兴趣的目标，为了判断每个聚类 是否包含交通标 iC志牌，本文中定义了以下三种规则：1) 点云数量滤波结合交通标志牌的尺寸限制以及车载移动激光扫描点云的密度， 应该至少包含 70 i个点，少于这个数量的聚类不足以构成交通标志牌。2) 海拔滤波依据交通标志牌的高度标准， 的 z 轴最小值与地面点的距离至少应为 2m。这一规 i
11、C则可以过滤掉海拔较低的聚类目标，如汽车牌照，路锥，临时标志牌等。3) 高度滤波依据交通标志牌尺寸标准， 的 z 轴最大值与最小值之差至少应为 0.4m。 i根据上述的三个规则，不符合条件的聚类将被滤除。点云中剩下的聚类目标即为交通标志牌目标物。1. 2 基于形状的检测基于反射率的方法会遗漏因老化或被损坏等因素致使反射率变低的交通标志牌，以及背面相对于扫描仪的交通标志牌。因此，结合基于形状的方法，以确保检测的完整性。首先，采用基于体素的向上生长方法将地面点从原始三维场景中滤除。其次，采用欧氏距离聚类方法对非地面点进行聚类，分离出空间上相互独立的目标聚类，从这些聚类中识别出杆状物目标。最后，采用
12、主成分分析（PCA）方法对杆状目标的非杆状部分点的维度特征进行分析，从而检测到交通标志牌目标。1.2.1 地面点去除车载移动激光扫描系统采集到的被测场景的三维点云数据中包含大量、高密度的地面点。由于我们的检测目标为非地面点，这些地面点无疑会增加检测算法的时间和空间复杂度，因此对点云数据进行地面点预处理将有效提高后续的检测效率。采用基于体素向上增长的方法进行地面点滤除，步骤如下：1)将整个三维点云场景在 XY 平面内按一定的宽度垂直切分成一系列局部点云块其中， 为生成的局部点云块的总数。这些局部点云块将被单独 1,2 i bBlockN， ， b地进行地面点滤除处理。2)对于每个局部点云块 利用
13、八叉树（Octree）索引结构划分， 1,2 i bBlockN， ，按一定的宽度将其划分成一系列空间上连续的点云体素 ，其中，N v 为生, 12, j vV成的点云体素的总数。3)点云体素 的上 9 个邻域定义为与 Vj 相邻接并且在空间上位于 Vj 上, 12, j vV方的 9 个点云体素。接下来，向上生长过程以点云体素 Vj 的上 9 个邻域（L1, L2, , L9）为起点，按同样的方式，分别沿着 L1, L2, , L9 的上 9 个邻域继续向上生长。以此类推，当所有已生长到的点云体素再无上 9 个邻域可生长时，该递归式向上生长过程结束。从已生长的区域中计算出具有最大局部高度值的
14、点云体素 Vh，即：该生长区域的至高点。4)定义高度 Hg 为地面高度临界值。如果 Vh 小于 Hg，那么，点云体素 Vh 将被标记为地面体素。同时，滤除包含点云体素 Vh 的局部点云块中的所有点。如果点云体素 Vh 的高度值大于 Hg，点云体素 Vh 将被标记为非地面体素。同时，保留包含点云体素 Vh 的局部点云块中的所有点。1.2.2 基于比例的杆状物检测首先采用欧式距离聚类方法，将非地面点划分成一系列三维目标聚类。欧氏聚类的具体过程已在方法 1.1.2 中介绍。对于初始分割得到的每个聚类 Ci，为判断 Ci 是否为杆状物，对每个聚类 Ci 作如下处理：1)根据 z 坐标的值将 Ci 中的
15、点分为 4 等分，从下至上编号为 03。接着，取编号为 1的部分，等距离分割成 N 个水平截面，并将每一个点都映射到相应的平面上（如图 2） 。2)这样，对于每一个平面，易得包含所有点的最小外接圆。计算其最小外接圆的半径长度，并记录它与相邻平面外接圆半径的差值 rdif。规定若 Ci 为杆状物，相邻半径的差值应不超过 dneigh。当一次迭代完成后，计算 rdif 超过了 dneigh 的比例 ，如果/difneighrxNx 超过了预设阈值，则认为聚类 Ci 不是杆状物。选择编号为 1 的部分作为判断杆状物的依据，既避免了草丛等物体附着在杆状物上所造成的干扰，也避免涉及到杆状物上部不同的非杆
16、状部分，如路灯的灯头，树木的树冠等。为了进一步对杆状物进行区分，对于杆状物聚类 Ci 作如下处理:1)取 Ci 中编号为 2、3 的部分，等距离分割为水平截面，并将每一个点都映射到相应的平面上。2)从 Ci 编号为 2 的部分开始，从下至上遍历每一个平面，拟合其平面上所映射的点的最小外接圆并计算其半径。当圆的半径长度大于某一个设定的最小值时停止。这时，在这个平面以上的部分即为杆状物的非杆状部分。图 3 中展示了部分提取出的杆状物，红色点为非杆状部分，绿色点为杆状部分。图 2 杆 状 物 检 测Fig.2 Percentile based pole recognition图 3 杆 状 物 的
17、非 杆 状 部 分 提 取Fig.3 Non-pole parts extraction1.2.3 交通标志牌检测常见道路两旁的杆状物可分为树木，电线杆，路灯，交通标志牌几大类。这几类目标物的非杆状部分的构成如下表所示：表 1：道路两旁杆状物组成Tab.1 pole-like objects composition on the roadside线状 球状 平面 线状+平面 线状+球状 平面+球状 线状+球状+平面树木 电线杆 路灯 交通标志牌 在组成类别中，只有交通标志牌是含有且大量含有平面元素的。因此，采用主成分分析(PCA) 算法，通过分析维数特征，可以将交通标志牌与其他非研究目标区别开
18、来。主成分分析(PCA) 13,14是一种有效的降维方法，它在减少数据维数的同时保留对方差贡献最大的特征。对于目标聚类中的每个数据 x，求取 x 的协方差矩阵，矩阵的特征向量即为点集的主方向，矩阵的特征值 , , ( )为对应的 3 个主方向上的分量123123大小。并进一步定义维数特征 13:(1)2331211,;DDDaaa根据扫描点的维数特征，依据公式(2)把扫描点粗分类为线性 (D=1),平面(D=2), 离散 (D=3)3 类。(2)1,3=()argmxdDd如果目标聚类中维数特征为平面的点超过预设阈值，那么可以认为这个目标聚类为交通标志牌。2 实验结果本文的测试数据采用 RIE
19、GL VMX-450 移动激光扫描系统进行采集，如图 4 所示，VMX-450 由扫描仪、惯导系统、测距仪和四个高分辨率数码相机组成，扫描仪的激光脉冲发射率可达 550kHz, 测距精度可达 1cm。被测场景为实时交通下的厦门环岛路，数据覆盖范围约 5260m, 包含 127 个交通标志牌。被测数据中包含常见的道路场景目标，包括建筑物，树木，路灯，交通标志牌，车辆，行人，草坪等等。测试设备为个人台式机，配置为英特尔酷睿(TM)i5-3470，CPU 主频 3.2 GHz，内存 8.0 GB。图 4RIEGL VMX-450 移动激光扫描系统Fig.4 RIEGL VMX-450 system依
20、据本文所提出的方法对数据进行处理，由基于特征选择的方法和基于反射率的方法分别实现交通标志牌检测，最后将两次检测结果进行叠加和合并形成最终的检测成果。Fig.5分别显示的是(a)部分环岛路的点云显示， (b)基于反射强度的交通标志牌检测结果，(c)基于形状的交通标志牌检测结果，以及(d)基于本文方法的交通标志牌检测结果。在 Fig.5(b)中，基于反射强度的方法漏检了反射率不突出的交通标志牌，在 Fig.5(c)中，基于形状的方法漏检了被树木遮挡的交通标志牌，而基于本文的方法结果没有漏检。Fig.6 展示了另外一个场景的检测结果。部分检测结果如图 5 和图 6，可以看出，本文方法不仅能准确地检测
21、到独立的交通标志牌,而且当它与树木等目标交错甚至被部分遮挡时，以及在点云中反射率未明显高出其他地物目标时，该方法仍然可以得到正确的检测结果。但是,在某些情况下仍然存在检测错误, 漏检主要集中在标志牌被树枝等物体完全阻挡时，误检主要是由于户外广告牌可能被当作是交通标志牌。为检验本文方法对于检测点云场景中交通标志牌的有效性，基于手工标记实验数据为参考数据，对本文所提出方法的召回率、假正、假负数量进行计算（表 2） 。从表 2 可以看出标志牌检测的召回率可以达到 95.2%。同时对本文方法与文献10 方法的正确率、召回率2 个方面进行了对比,比较结果如表 3 所示。对于图 5 所示场景，大约 710
22、 万个点，计算时间为 1095s，文献10 为 1021s。召回率为检测到的交通标志牌与场景中交通标志牌总数的比率，本文综合两种方法检测交通标志牌，发挥了两种方法的优势，并使得两种方法中导致漏检的缺陷相互弥补，因而召回率较文献10方法提高了 1.2%。实验结果表明,所提出的算法适用于道路交通标志牌的自动提取。图 5 交通标志牌检测结果：(a) 环岛路点云显示， (b)基于反射强度的交通标志牌检测结果，(c)基于形状的交通标志牌检测结果，(d) 基于本文方法的交通标志牌检测结果Fig.5 traffic sign detection results：(a) demonstrate images
23、of an urban transportation scene in point clouds visualized using intensity, (b)traffic sign detection by intensity, (c)traffic signs detection by shape featureand (d)traffic signs detectionby our proposed method.图 6 交通标志牌检测结果： (a)环岛路点云显示，(b) 基于反射强度的交通标志牌检测结果，(c)基于形状的交通标志牌检测结果，(d) 基于本文方法的交通标志牌检测结果Fi
24、g.5 traffic sign detection results：(a) demonstrate images of an urban transportation scene in point clouds visualized using intensity, (b)traffic sign detection by intensity, (c)traffic signs detection by shape feature and (d)traffic signs detectionby our proposed method.表 2：环岛路上交通标志牌检测结果Tab.2Traffi
25、c sign detection results on HuanDao Road厦门环岛路交通标志牌数量 召回率 假负（FN） 假正（FP）127 95.2% 6 7表 3：方法对比Tab.3Compare with other method文献10方法 本文方法召回率 94.0% 95.2%正确率 94.6% 94.6%3 结论本文以车载激光扫描数据为研究对象，提出了一种适合复杂城市环境的交通标志牌检测方法。综合运用基于形状特征和基于反射率两种方法进行交通标志牌检测，既可以弥补基于反射率的检测方法无法检测到从反面扫描或是老化褪色的标志牌的缺陷，又可以对两种方法的检测结果相互验证, 从根本上提
26、高了道路场景中检测交通标志牌的精度，达到优势互补的效果。应用结果表明，该系统在复杂场景下可以有效检测到交通标志牌，从而为交通部门掌握道路标志牌情况，有针对性的进行维护奠定基础。同时，该检测技术也可在智能交通系统中推广应用。但是该方法仍然存在一些漏检或误检，主要为当目标物被大比例遮挡时导致的漏检；以及户外广告牌可能引起的误检。本文下一步的研究将把点云与图像融合，使我们真正的可以“看到”交通标志牌上的内容。参考文献1 Brenner C. Extraction of features from mobile laser scanning data for future driver assista
27、nce systemsM. Advances in GIScience. Springer Berlin Heidelberg, 2009: 25-42.2 Piccioli G, De Micheli E, Parodi P, et al. Robust method for road sign detection and recognitionJ. Image and Vision Computing, 1996, 14(3): 209-223.3 Landa J, Prochazka D. Automatic Road Inventory Using LiDARJ. Procedia E
28、conomics and Finance, 2014, 12: 363-370.4 Chehata N, Guo L, Mallet C. Airborne lidar feature selection for urban classification using random forestsJ. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2009, 39(Part 3/W8): 207-212.5 Haala N, Peter M, Cefal
29、u A, et al. Mobile lidar mapping for urban data captureC/Proceedings of the 14th International Conference on Virtual Systems and Multimedia, Limassol, Cyprus. 2008, 2025: 95100.6 Yokoyama H, Date H, Kanai S, et al. Pole-like objects recognition from mobile laser scanning data using smoothing and pri
30、ncipal component analysisC/ISPRS Workshop, Laser Scanning 2011. 2011, 38: 115-120.7 Pu S, Rutzinger M, Vosselman G, et al. Recognizing basic structures from mobile laser scanning data for road inventory studiesJ. ISPRS Journal of Photogrammetry and Remote Sensing, 2011, 66(6): S28-S39.8 董震,杨必胜.车载激光扫
31、描数据中多类目标的层次化提取方法J.测绘学报,2015,44(9):980-987.9 Laflamme C. Automatic asset detection, location measurement and recognition: U.S. Patent 7,623,248P. 2009-11-24.10 Ai C, Tsai Y C J. Critical Assessment of an Enhanced Traffic Sign Detection Method Using Mobile LiDAR and INS TechnologiesJ. Journal of Trans
32、portation Engineering, 2014, 141(5): 04014096.11 Yu Y, Li J, Guan H, et al. Three-Dimensional Object Matching in Mobile Laser Scanning Point CloudsJ. Geoscience and Remote Sensing Letters, IEEE, 2015, 12(3): 492-496.12 Vu A, Yang Q, Farrell J, et al. Traffic sign detection, state estimation, and ide
33、ntification using onboard sensorsC/Intelligent Transportation Systems-(ITSC), 2013 16th International IEEE Conference on. IEEE, 2013: 875-880.13 Demantk J, Mallet C, David N, et al. Dimensionality based scale selection in 3D lidar point cloudsJ. International Archives of Photogrammetry, Remote Sensi
34、ng and Spatial Information Sciences, Laser Scanning, 2011, 38(Part 5/W12): 97-102.14 Lalonde J, Vandapel N, Huber D F, et al. Natural terrain classification using threedimensional ladar data for ground robot mobilityJ. Journal of Field Robotics, 2006, 23(10):839-861.Road Traffic Sign Detection from
35、Mobile LiDAR Point CloudsWENG Shengxia, CHEN Yiping*(School of Information Science and Technology, Xiamen University, FujianXiamen 361005)Abstract: The demand for automated road traffic sign extraction is driven by the importance of maintaining and updating the fundamental geographic data of transpo
36、rtation systems for road engineering. Mobile laser scanning (MLS) is a promising technology for the rapid 3-D mapping of roads, provides a good means to capture details along the road. This paper presents automated method to detect road traffic sign in outdoor environments using mobile light detecti
37、on and ranging (LiDAR) and inertial navigation technologies. First, traffic signs are detected based on the intensity attributes, as traffic sign intensity has significant difference with other objects in point cloud. Second, a traffic sign detection method based on shape feature is applied, which r
38、ecognizes pole-like objects (PLOs) from raw point clouds and extracted by Principal Component Analysis. Finally, the two detection methods are combined to form the final detection result. Experiments demonstrate the feasibility and effectiveness of the proposed method in detecting traffic signs from mobile LiDAR point clouds.Key words: Mobile LiDAR; Traffic sign detection; Principal Component Analysis
