1、硕 士 学 位 论 文论文题目 运动目标检测与跟踪的研究与实现 作者姓名 郑志洵 指导教师 杨建刚教授 学科(专业) 计算机应用技术 所在学院 计算机学院 提交日期 2006 年 5 月 15 日 I摘 要在道路交通管理中，为了获得车辆的运动数据，早期经常采用的是感应线圈等硬件测量的方法。而如果采用摄像头拍摄的道路视频，再用计算机软件处理的方法，则可以极大的增加方便性和灵活性。本文运动目标检测与跟踪研究如何让计算机从视频图像序列中获得物体运动数据。运动目标检测与跟踪分为背景提取、运动点团提取、运动点团位置提取、运动物体跟踪这几个步骤，本文对每一个步骤的各种算法做了实验分析比较研究，并提出了改进
2、算法。在背景提取步骤提出了改进的基于均值的背景提取算法以及减少图像像素的兴趣区提取算法。在运动点团提取的阴影处理步骤提出了改进的基于 RGB 空间的阴影处理算法。在运动点团位置提取步骤提出了改进的线段编码算法。在运动物体跟踪步骤提出了基于预测的运动跟踪算法。实验与分析说明本文提出的算法优于原算法。本文还通过实验分析比较了基于灰度图像序列的运动目标检测与跟踪、基于边缘图像序列的运动目标检测与跟踪，它们都没有基于彩色图像序列的运动目标检测与跟踪效果好。最后，本文得到了一整套运动目标检测与跟踪的方法，它们的健壮性和实时性都符合实际运用的要求。关键词：背景提取、阴影处理、运动目标检测、运动跟踪、彩色图
3、像、灰度图像、彩色边缘检测IIAbstractIn a traffic control system, in order to achieve the data of moving vehicles, hardware is installed to directly measure them in the early days. If we use computer software to calculate the data from traffic video, we can gain more convenience and flexibility. This thesis is fo
4、cused on the research of the methods of achieving the data of moving vehicles from traffic video by computer.Moving object detection and tracking can be divided into these steps: background extraction, moving blob extraction, moving blobs position achieving and moving object tracking. This thesis sh
5、ows our experiments and analysis on many algorithms in each of the steps. It also shows the improvement of the algorithms made by us. The experiments and analysis demonstrate that the improved algorithms are better then the original ones.Experiments and analysis also demonstrate that moving object d
6、etection and tracking based on color images is better than based on the gray images or edge images.In the end we obtain a whole method of moving object detection and tracking. The robustness and real-time property of the method can reach the acquirement of the real application. Keywords:Background E
7、xtraction, Shadow Elimination, Moving Object Detection, Moving Object Tracking, Color Image, Gray Image, Color Edge DetectorIII目 录摘 要 .IAbstract.II目 录 .III第一章 引言 .1第二章 运动目标检测和跟踪的流程 .2第三章 背景提取 .73.1 彩色图像的背景提取 .73.1.1 基于均值的彩色图像背景提取 .83.1.2 改进的基于均值的彩色图像背景提取 .93.1.3 基于中值滤波的彩色背景图像提取 .113.1.4 基于共同区域的彩色图像背
8、景提取 .133.1.5 彩色图像背景提取的实验分析 .163.2 灰度图像的背景提取 .243.2.1 彩色图像转换成灰度图像 .243.2.2 灰度图像的背景提取 .253.3 边缘图像的背景提取 .263.3.1 彩色图像的边缘提取 .273.3.2 边缘图像的背景提取 .28第四章 运动点团提取和背景更新 .314.1 彩色图像的运动点团提取 .314.1.1 基于马氏距离的运动点团提取 .324.1.2 基于欧氏距离的运动点团提取 .354.2 阴影处理 .384.2.1 基于 RGB 空间的阴影处理 .394.2.2 改进的基于 RGB 空间的阴影处理 .404.2.3 基于 HS
9、I 空间的阴影处理 .424.3 灰度图像的运动点团提取 .44IV4.4 边缘图像的运动点团提取 .474.5 基于帧间差的运动点团提取及其与背景差法比较 .494.6 背景更新 .50第五章 兴趣区提取 .515.1 兴趣区的提取和实验 .515.2 道路繁忙度获取 .53第六章 运动点团的位置提取 .546.1 数学形态学处理 .546.2 轮廓追踪 .566.3 线段编码 .576.4 改进的线段编码 .586.5 运动点团层运动跟踪 .59第七章 运动跟踪 .627.1 卡尔曼滤波 .627.2 基于预测的运动跟踪 .647.3 运动跟踪算法的计算复杂性分析与改进 .687.4 基于
10、边缘图像的运动跟踪结果 .697.5 基于预测的运动跟踪算法在不同采样率下的健壮性 .707.6 运动跟踪的最终结果 .74第八章 总结与展望 .75参考文献 .76致 谢 .781第一章 引言在道路交通控制管理领域，管理部门需要掌握道路上车辆的速度、车辆的数量等等数据以控制红绿灯平衡道路车流量、对超速和闯红灯的车辆进行处罚。早期，人们一般采用感应线圈的方式获得车辆的速度、车辆的数量等数据。这种方法，需要在检测路段埋入感应线圈，这需要对道路施工，会影响交通，严重影响道路寿命，并且感应线圈设备容易被重型车辆压坏，维护起来又要对道路施工，非常麻烦1。随着计算机技术的发展，道路交通数据获取不再需要复
11、杂的线圈设备了。只需在检测路段固定摄像头，摄像头拍摄的道路数字化视频压缩后通过传输线路（如光纤）传输到监控中心，监控中心的计算机采用数字图像处理的方法将道路交通的数据计算出来2 。与早期的方法相比，这种方法利用了软件算法通过计算机的强大计算能力得到我们需要的数据，而不是复杂的硬件设备（如感应线圈）对数据直接测量。这极大的增加了方便性和灵活性。如何让计算机从视频图像序列中获得道路交通数据，例如车辆的速度等，近年来很多人对此展开了研究。从视频图像序列中获得运动物体的数据的方法除了能运用在道路交通外，也能运用于各种监控领域，例如小区防盗、银行监控等等，用以检测和跟踪进入场景的人或物体，应用范围非常广
12、泛。本文就是研究如何让计算机从视频图像序列中获得物体运动数据视频图像序列中运动物体的检测和跟踪。研究以道路交通作为实验场景，单摄像头且摄像头固定的情况。输入是 RGB 色彩空间的视频图像序列，目标是实现对视频图像序列中运动物体的跟踪，获得其在图像坐标下的速度。而多摄像头的情况和摄像头跟随物体运动的情况，比单摄像头且摄像头固定的情况复杂，例如多摄像头的多个二维图像序列中如何重构三维场景等。单摄像头且摄像头固定的情况是最基本的情况，因此本文集中精力研究单摄像头且摄像头固定情况下的运动目标检测和跟踪。2第二章 运动目标检测和跟踪的流程在道路视频图像序列中获得车辆的速度，可以使用简单的方法，就是在图像
13、中的道路位置设置虚拟检测线，模拟感应线圈，根据虚拟检测线上的像素颜色的变化得到经过虚拟检测线的车辆的速度，同时也可以对经过虚拟检测线的车辆计数3。这种方法有很大的局限性。首先，它需要人工标定虚拟检测线，摄像头一旦换位置，就需要重新设定一次虚拟检测线，很不方便；其次，它只能检测通过虚拟检测线的车辆，而对图像其他区域的车辆一无所知，图像的大量信息丢失掉了。因此，本文不采取虚拟检测线的方法，而以运动物体（车辆）为目标，跟踪每个运动物体在视频图像序列中的位置，进而得到每个物体的运动速度和运动物体总数。运动目标检测与跟踪的流程有三个层次，如图一4。每个层次再细分，可以得到图二的几个步骤。图像像素层运动点
14、团层运动物体层图一 运动目标检测与跟踪的层次3视频图像序列 边缘检测 背景提取 运动点团提取 运动点团位置提取 数学形态学处理 物体运动跟踪 兴趣区获取 灰度转换道路繁忙度 车型车牌识别 道路事件检测 摄像头标定物体真实速度获取 背景更新 图二 运动目标检测和跟踪的步骤系统的输入是彩色视频图像序列。检测运动物体需要无运动物体的背景图像，而视频图像序列中的每帧图像一般都有运动物体，因此需要提取背景。背景图像提取出来后，将每一帧图像与背景图像作差，然后二值化，得到前景像素构成的运动点团图像，这就是背景差法。背景提取有很多种算法，第三章将详述与比较各种背景提取算法，并提出一种改进的算法，实验证明改进
15、的算法有更好的效果。除了直接将视频图像序4列做处理外，还可以先将视频图像序列转换成灰度图像序列，然后在灰度图像序列上做运动目标检测和跟踪；或者，因为前景、背景分离的最重要的信息是边缘信息，可先将视频图像序列转换成边缘图像序列，然后在边缘图像序列上做运动目标检测和跟踪5。第三章也讲述了彩色图像转变成灰度图像的方法以及提取彩色图像的边缘图像的方法。第四章讲述并比较了每一帧图像与背景图像作差的不同方法。由于阴影的存在，背景差法会把阴影作为运动物体的一部分，而阴影会把不同的运动物体连成一片，影响之后的处理，因此需要对阴影做特别处理。第四章讲述和比较了阴影处理的不同方法，并提出一种改进的算法，实验分析其
16、优于其他算法。第四章也指出了基于灰度图像的运动点团提取无法解决阴影的问题，因此基于灰度图像的运动目标检测与跟踪方法没有基于彩色图像的方法好。提取运动前景像素除了上面所述背景差法外，还可以采用相邻两帧图像作差的帧间差法6，第四章接着讲述帧间差法，并将其与背景差法比较。图像会随时间而变化，得到前景和背景像素后，就可以对背景图像做更新，第四章最后讲述背景更新的策略。并不是图像的每一个像素都会出现运动物体，关注区是图像中可能会出现运动物体的部分。在背景提取的时候可以同时获取关注区，之后的处理就集中在关注区中，这是减少图像像素数，减少处理时间的好方法。第五章讲述了关注区的提取方法和利用关注区数据计算道路
17、繁忙度的方法。前面讲述的处理方法都是基于图像像素的，属于图一中的图像像素层，这一层处理的结果是运动点团二值图像，1 代表运动前景像素，0 代表背景像素。接下来到了运动点团层处理。第六章讲述运动点团层的处理。首先是对运动点团二值图像做数学形态学处理，去除微小的噪声物体。然后提取运动点团的位置和大小。提取运动点团的位置和大小有多种算法，第六章比较了不同的算法，并且提出了改进算法，改进算法更适合运动目标检测和跟踪。第六章还讲述了运动点团层的运动跟踪，并指出了其存在的几个问题，为解决这些问题，必须在运动点团层上增加运动物体层（见图一） ，从而引出了第七章。另外，在运动跟踪时，我们是先确定一帧图像中所有
18、运动点团的位置，然后和前一帧图像中的运动点团位置关系判断是否为同一运动物体。还有一种5运动跟踪的方法7：在当前运动点团邻域搜索匹配下一帧中的运动点团，这种方法不需要提取运动点团的位置和大小，可以称之为基于像素的运动跟踪，然而图像的像素数量是很大的，这种像素点搜索匹配的方法所需的时间远远多于我们的方法，因此我们没有采用这种像素点搜索匹配的方法。第七章讲述运动物体层的运动跟踪。首先，介绍了卡尔曼滤波器，其可以用于运动跟踪4 ，但其存在一些问题，由卡尔曼滤波器启发，本文提出了一种基于预测的运动跟踪方法，其实质是一种简化的卡尔曼滤波器，很好的解决了卡尔曼滤波器存在的问题。我们做了很多实验验证了此算法的
19、健壮性。这一章还比较了基于边缘图像的运动跟踪与基于原始的彩色图像的运动跟踪的效果，指出了基于边缘图像的运动跟踪差于基于原始彩色图像的运动跟踪的原因。图二中虚线框的步骤，是物体运动跟踪之后可以继续进行的后续步骤，本文把精力集中放在运动目标检测和跟踪的研究上，没有对这些后续步骤做更多研究，在这里做简单说明：运动物体真实速度获取的目的是把运动跟踪得到的物体在图像二维坐标下的速度转换成真实空间三维坐标下的速度，其涉及到摄像头标定；车型车牌识别、道路事件检测是将运动跟踪得到的车辆和道路数据作进一步的处理，以得到诸如车型、车牌、车辆是否闯红灯、车辆是否超速等等，其涉及到很多研究方向，如模式识别等。我们研究运动目标检测和跟踪使用道路交通作为实验场景。我们对多组实验数据进行实验，每组实验数据是一段彩色的视频图像序列，所有实验视频数据的分辨率都归一到 720 352 像素。下文所说的“实验数据一”是交通管理部门摄制的 15 秒道路视频，图三是其中的一帧；“实验数据二”是我们用数码相机到天桥上摄制的 23 秒道路视频，图四是其中的一帧。
