1、 基于神经网络图像处理智能车牌识别系统摘要：本文介绍一个可以安装在收费站的使用车牌照片就可以自动识别车牌信息的智能车牌识别系统。一个可以应用于费用支付控制、停车场、高速公路、桥梁或者隧道等的自动化系统。我们考虑过这样一种方法，通过利用图像融合、神经网络、阈值技术以及一些实验结果来成功识别车辆牌照，从而达到识别车辆的目的。关键词：安防 车牌识别 人工智能1.介绍汽车识别的工作可以通过牌照识别来解决。它的应用前景很广，比如入口许可、安防、停车控制、机场或港湾货物控制、道路交通控制、限速等。该领域的相关商业软件也已经开发。然而，当所提供的车辆照片风格和格式不适合该方法时，便无法识别牌照信息 1-3。
2、结合以下两种方法可以克服上述缺点：(i)从源图像流检测和提取车牌图像区域(ii)车牌的字符识别。边缘检测、阈值转换、重采样等图像处理技术可用于定位车牌和分割字符，处理模型可以使用神经网络，这种技术被成功地应用于汽车牌照的识别。如果一个车牌被准确地识别，该车辆的信息就可从各种数据库获得。一旦信息表明该车辆有疑点，就可以采取适当的措施。该车牌识别算法步骤如下：(i)捕获汽车的照片；(ii)提高图像画面的清晰度；(iii) 提取图像中的牌照区域；(iv) 从牌照图片提取字符； (v)识别牌照字符和车辆信息。2.去模糊技术和图像融合图像的获取：我们研究由数码相机采集的 8 位灰度图像，并将它传送到计算
3、机上。图像由像素的矩阵构成。为获得更好的图像进行进一步的处理，我们应该进行视频流6408的接收，包括在同一时间用不同的焦距所捕获的一些画面。去模糊的图像帧：我们考虑这样一个情景，场景中有两个或多个物体，而且它们与相机的距离各不相同。如果使用便宜的相机难以使照片中的各个物体都充分地聚焦。也就是说，获得的图像里，每个物体都很清晰是很难的。如果一个物体充分聚焦了，另一个则不然。尽管如此，通过应用多聚焦的图像融合技术，也是有可能提高那些对象焦点分散的图片质量的。图像融合指，通过两个或多个相机拍摄的照片的融合，产生一个新的增强的图像的图像处理技术4。融合后的图像更适合作后续的图像处理，如图像分割、特征提
4、取和对象识别。最简单的图像融合方法只需要对原始图像逐个像素取灰度值的平均值。然而，这种方法容易导致图像减小对比度类似的负面影响。多尺度转换的各种方法被用来来解决这个问题。最基本的办法是对每张源图像进行多分辨率分解，然后对其进行重新组合，最后通过一个逆多分辨率转换，重构融合的图像。这种方法的例子有拉普拉斯金字塔融合算法 5，梯度金字塔 6，低通比率金字塔 7，形态学金字塔 8以及小波变换 4, 9, 10。我们提出了基于平均对比频率的图像融合方法，这种方法计算简单，可以应用于实时程序。图像融合：图像融合的主要目的是尽可能接收更多的清晰的图像，在图像捕获过程要考虑不同天气状况、车辆移动和噪声影响。
5、图像融合算法包括以下步骤：1.从源图像中创建灰度值为 的 的图像模板。这种模板由水平和垂直nmICT,PNM方向的两张图像转换而成。2.计算模板每个位置的平均对比频率值。 31, 2,1,111NMnmPICTnICFIIRFNnmNnM是模板第 m 行 n 列像素对应的颜色值；M，N 代表模板的大小。模板频率是为nPICT,这两幅模糊图像而计算的。3.通过阈值过程为变清晰了的图像创建每一个像素： )4(,2,12,elsjiPICTjiIrahodFfPTlijIjiICT是位于模板中心的像素，这模板是之前通过源图像融合获得的。jiandPIjiICT,2,1为了研究该方法，我们通过使图像分
6、别在逆时针方向以 75和 90方向上做像素为 8 的直线运动，使得图像的不同部分进行人为的模糊处理（图 1a 和图 1b）。而这 像素的5图像模板也被用于图像融合过程。a) b) c)图 1 模糊的图像（a 和 b），通过图像融合技术得到的结果（c）阈值转换法：通过定位那些已经拥有汽车牌照的位置，图片里呈现的不同对象就会被建立和标记。那些与这些车牌字符有相似几何特征的将会被选择。我们假定如果被选中的对象的相对位置与汽车牌照相符合，那么可以确定位置找好了。在一个灰度图像中，阈值转换会为阈值T 小于等于 0 和大于 1 的设定每一个灰度级别 5。结果是一幅黑白图像， 0 代表黑色，1代表白色如图
7、2 所示。通过数码相机获得的图像被转化成了黑白二值图像，图像中颜色低于阈值的部分被设为黑色，而高于阈值的部分都设为白色。阈值水平 T 主要取决于照明条件和源图像明亮的区域。考虑到一些过路收费亭检查点的人工生成的灯光，我们只能实验性地挑选出那些被选择的值。图 2 阈值的二值图像3.车牌识别最困难的任务就是找到车牌，,因为它可能在图片上的任何一个位置上。而如果不同牌照的图像光照度不一样的话，将会使得这项任务变得更加有难度。在车牌识别 1,2,3方面已经有过许多的研究。其中有一个研究运用霍夫变换（HT）来分析图像。霍夫变换是一种用来检测二值图像线路的一种方法。通过这种技术，我们有可能以积聚的网格的形
8、式生成线路表。然后对这些网格进行分析，并将列表的水平和垂直的线段进行组合，作为矩形区域的选择集合。通过分析之前获得的线路的长度，就能得到牌照的候选区域 1。然而，当图像里的车牌并不是水平定位，以及由于信号干扰或光照不均造成图像中牌照边界线的损坏或缺失的情况下，边界线检测的方法就完全不适用了。而且，霍夫变换本身就是一个比较费时的方法 1。我们的车牌识别系统是通过阈值迭代操作来识别车辆的牌照。为了确定包含牌照信息的图片区域，通过矩阵里每个像素的连通性原理，图片呈现的不同对象就会被找出并标记。然后对被标记的对象进行分析，那些与牌照字符有相似几何特征的对象将会被挑选出来。到目前为止我们用的牌照特征都只
9、局限于高度和宽度，但其他特征，比如外形比例特征，也是可能可以应用的。可以通过以下条件来识别牌照：(i)一个对象的总像素，(ii)对象的高度，(iii)对象的宽度，(iv)在区域里展现的牌照字符。计算出每个对象最大宽度和高度的比例。然后把对象视为一个区域，如果比例范围为0.1 到 0.25 之间，而且如果该对象的总像素数大于 2000 且小于 8000，那么该对象可能包含牌照信息。下一步，根据连通性原理，要将选中的区域进行颠倒和重新编号（重新标记）。之后那些阈值高于白色像素阈值（等于 1）的对象区域将会被挑选出来。这阈值显示了一个数字字符的白色像素的最小值。在这之后，计算出在图像区域里选中的对象
10、的牌照信息的数字。如果牌照的每个字符位于位置相邻近的同一块区域，最简单的方法就是用基于静态边缘进行处理，那么这个区域就会被定位为汽车牌照（如图 3）。否则，将考虑图像的下一个区域。图 3 识别带有车牌号的区域4.车牌字符提取我们有好几种找出字符边界的方法。其中最简单的方法是运用静态边界，即假设车牌的每一个字符都是位于同一个位置。为实现前一阶段选定的目标，把带有牌照的区域分割为均等的网格，这些网格可能包含字符。这种技术的优点在于图片质量的简化与独立性。而该技术的缺点在于选择区域时的一些背景和车牌移位时的网格划分问题。我们可以用汇总牌照行和列像素总数的直方图来取代静态的边界 11。在这种情况下，我
11、们或许可以排除牌照外的一些背景区域。而波峰和波谷表示牌照的字符。这种方法是非常有用的，因为它只取决于牌照的质量，而与牌照字符的位置无关。但这种技术取决于图像质量。我们建议用如下通用算法高效地从牌照中提取字符：1.将上一阶段从所有源图像中获得的带有带有牌照方形区域进行切割，从而加快该算法的执行。2.利用公式（5）降低阈值区域，从而提高牌照质量。再根据背景和字符像素的比例来确定阈值水平的值。这比例大约为背景占 69%（如图 4a）。3.反转前一阶段获得的牌照信息色调（如图 4b）。5,0,21,elsTreasholdjiifPICjiPITa) b)图 4 选择牌照 4.将中值滤波器应用于被反转
12、色调的牌照，从而排除模板中的噪音。5.根据连通性原理，要对每个选定的区域重新编号，但要考虑以下必要参数：(i)被重新编号了的选中区域的宽度，(ii) 被重新编号了的选中区域的高度，(iii)选中区域里的白色像素总数(像素选为 1)。这些参数要与牌照的宽、高和字符数成相应的比例。如果选定的对象在一些阈值边界上与上述参数并不符合，那么下一个对象将会被拒绝并进行重新编号（如图 5a）。6.在每个选定的区域中，以高度和宽度的最大和最小参数值截取字符区域（如图 5b）。7.应用双三次插值技术将上一步中获得的字符区域的大小调整为标准的宽度和高度，以便在接下来的识别程序中应用该图像（如图 5c）。a) b)
13、 c)图 5 从牌照中提取字符5运用神经网络识别字符车牌字符的顺序唯一地确定了每辆车。考虑到它们的属性可被视为一种联想记忆，我们提出利用人工神经网络来识别车牌字符。从现有的相关性和统计数据模板技术 12来看，利用神经网络具有优势，它可以在存在噪声或车牌字符位置有所变动的情况下维持稳定。字符图像（ 像素）形成了神经网络的训练集。多层神经网络将用于字符识别 131930。这神经网络的训练向量由 663 个元素构成（这也是输入层神经元的数量），它是由以二进制格式表示的车牌字符图像行向量产生的。管理器在训练阶段会设定神经网络中输出神经元的数量。神经网络的每一层都包含矩阵的加权系数 W，阈值向量 b 和
14、向量输出值 a（如图 6）。神经网络每一层的输出值是由一个开销指数表示出来的，计算过程如下： 621,1,21 ,2, bpIfLWfaaLfabI图 6 中的神经网络包括 输入， S隐层神经元和 输出层神经元。每个过渡层的输RS出量就是下一层的输入量。因此，输出层 2 也可以被视为一层神经网络 1S输入， 神经2元，且加权举证为 。 向量等于 2 层的输入减去 的输出。神经网络的任何12Sa2a一层都用相同的方法计算。带动量项的反向传播梯度下降法和自适应学习速率被用于神经网络训练 14。反向传播是用来计算衍生产品性能权重和偏差变量 的。每个变量根据带动量的梯度下降法进X行调整： 7/dXpe
15、rfmclrdpevcXdXprev 是上一个权重或偏差的变化，lr 是学习速率，mc 是不变的动量。图 6 神经网络构造在每个时间点上，如果性能朝目标方向降低，那么学习速率会因 lr_inc 系数而增加。如果性能的增加超过了 max_perf_inc 系数，那么学习效率将会被调整到 lr_dec 系数水平上，而造成性能提升的改变也不会发生。当以下情况发生时，培训过程将停止：(i)达到了epochs 的最大值，(ii) 超过了时间的最大值，(iii)性能已经最小化到目标点，(iv)性能梯度下降到最小梯度以下，(v) 自上次减少以来，验证性能已经增长超过 max_fail 倍。6.实验结果我们运
16、用通过 Matlab 6.5 软件程序对汽车牌照识别系统进行了研究。在研究过程中，我们将分辨率为 像素灰度的富士 MX-1700 数码相机通过 USB 串口与电脑连接4806使用。该相机传递速度达 25 帧/秒。LPR 系统使用的是前馈神经网络。神经网络结构包括一个有 366 个节点的输入层，一个有 50 个神经元的隐藏层和一个有 46 个节点的输出层。每层都包含 S 型对数转移函数。上面所描述的反向传播梯度下降法与动量和自适应学习速率是用于神经网络的训练。含有字母字符的高质量的图片由神经网络主输出训练。每个神经网络输出显示一个可能被识别的字符。神经网络训练的均方差为 0.00001，如图 7
17、 所示。图 7 神经网络的训练过程为了识别图片的噪声并转移它对字符的影响，采用均匀分布法和不同密度法去除图像上字符的盐椒噪声 15。含噪声的字符被送入神经网络并分类。牌照字符识别的分类结果由图 8 所示。 图 8 中的第一列表示神经网络训练后识别的牌照字符的理想图片，第二列表示受椒盐噪声影响的由神经网络识别后的字符，第三列表示正确或错误的分类识别的结果。图 8 神经网络字符的识别结果为了研究噪声强度和神经网络正确识别车牌字符的相关度，对每个字符图像加上 50次同样密度的噪声，并检测其识别的正确率，如图 9 所示。图 9 噪声水平和正确识别字符的关系从图 9 可以看到，神经网络在 50%噪声密度的背景下，正确识别车牌字符的概率到达 95%左右。7. 结论本文的目的是研究汽车牌照的自动识别。我们可以通过图像融合技术提高汽车图像质量，然后提取牌照信息，分割车牌中的字符，最后采用神经网络对车牌字符进行识别。实验结果表明，使用神经网络方法可以在有 50%噪声密度的背景下，识别车牌字符的准确率约 95%。这种方法可以应用到交警检测车速违规者、停车场、高速路、桥梁和隧道等。此外，这个系统的原型还可以作为传感器网络的一部分被整合并测试，这个传感器网络是由 Ayers Island 公司开发的，同时是智能岛屿系统的一部分。
