1、I视频图像中的异常分析技术研究摘要视频监控在国民经济中发挥着越来越重要的作用，如何对监控系统中的图像序列进行实用化的智能场景检测分析和智能化管理，实现信息实时有效的获取和控制，是视频监控网络化、智能化的核心技术。本论文在对视频监控技术的构成与发展进行研究分析的基础上，针对视频监控中涉及的异常检测、异常分析等关键技术进行了深入研究。在介绍本文所需的基础知识后，重点进行了异常检测和分析算法的研究，分析比较了当前三种典型的运动目标检测算法。研究了背景差除法在异常行为分析中的实际应用，在总结了常见的异常行为分析方法之后，实现了两种常见的异常检测：周界入侵和运动目标的异常检测。本文利用 MATLAB 编
2、程进行帧提取，采用背景差除法进行异常分析并显示结果，并对异常目标检测存在的噪声问题提出了处理方法。关键词： 视频监控；目标检测；异常分析IIRESEARCH OF ANOMALY ANALYSIS TECHNOLOGIES IN VIDEO IMAGEAbstractVideo surveillance is playing an increasingly impotrant role in the national economy. How to perform intelligent scene detection and to realize real-time and effectiv
3、e management of information are the core technologies of video surveillance.On the basis of analysis the structure and development of video surveillance technology, this paper researches on several key technologies involved in video surveillance, such as detection and analysis of anomaly, etc.Accord
4、ing to the practical requirements of engineering，this paper first analysises of the unusual circumstances in safety monitoring. Two specific research and analysis of the perimeter intrusion and target in video surveillance have been done, this paper uses MATLAB to carry out research, implement frame
5、 extraction using background difference method and display the result of abnormal analysis，and the noise issue of abnormal target detection has been approached.Key words： Video surveillance; object detection; Anomaly analysis目 录摘要 .IAbstract .II1 绪论 .11.1 研究背景及意义 .11.2 国内外研究现状 .11.3 论文的主要工作 .32 智能视频
6、监控理论技术基础及关键技术 .42.1 智能视频监控的结构与功能 .42.2 智能视频监控关键技术 .52.3 图像处理理论 .52.3.1 RGB 颜色模型 .52.3.2 数字滤波 .62.4 本章小结 .83 系统方案设计 .93.1 异常检测系统流程 .93.2 异常检测算法研究 .93.2.1 目标检测算法研究 .93.2.1.1 帧间差分法 .93.2.1.2 光流法 .113.2.1.3 背景差除法 .123.2.1.4 三种算法性能比较 .133.2.2 异常情况分类 .133.3 本章小结 .144 基于背景差除法的典型异常分析实验及结果分析 .164.1 周界入侵 .164
7、.1.1 噪声滤除 .164.1.2 检测目标加边框 .174.1.3 实验结果及分析 .174.2.1 实验流程 .214.2.2 结果分析 .244.3 本章小结 .25结论 .26参考文献 .28附录 .301.运动目标的异常检测分析程序 .302.设定警戒区域程序 .323.周界入侵程序 .32致谢 .3411 绪论1.1 研究背景及意义视频监控是通过获取监控目标的视频图像信息，对视频图像进行监视、记录、回溯，并根据视频图像信息人工或自动地做出相应的动作，以达到对监控目标的监视、控制、安全防范和智能管理，已被广泛应用于军事、海关、公安、消防、林业、堤坝、机场、铁路、港口、城市交通等众多
8、公众场合，随着技术的进步和成本的降低将逐渐普及到家庭安全防范和娱乐应用。视频监控技术涵盖运动目标的检测、跟踪、目标分类和行为理解等方面，涉及到机器视觉、模式识别、图像处理和人工智能领域的许多核心课题，是一个具有挑战性的困难问题。伴随着网络技术和数字视频技术的飞速发展，监控技术正向着智能化、网络化的方向不断前进。监控系统功能日益强大，但是依然需要工作人员不间断地分析监视场景内的活动，日夜值守工作量繁重，同时远程视频传输的时实性、流畅性也还有待于进一步的研究，因此计算机视觉和应用研究学者适时提出了新一代监控-一视觉监(VisualSurveillance)的概念。视觉监控在不需要人为干预的情况下，
9、利用计算机视觉和视频分析的方法对摄像机拍录的图像序列进行自动分析，实现对动态场景中目标的定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而做到既能完成日常管理又能在异常情况发生时及时做出反应，同时在远程传输中提供更加丰富、流畅的视频监控效果。视觉监控的概念逐渐为人们所关注，成为视频监控未来的发展方向。人们希望监控以计算机为核心，融合多媒体技术、计算机视觉技术和网络技术的监控系统，不但具有多媒体信息处理如压缩、传输、存储和播放等基本功能，还能够实现远程管理、远程监控、自动告警等高级功能，能够替代人工职守，成为真正意义上的智能监控。1.2 国内外研究现状监控技术经历了很多不同的阶段，图像监控
10、技术是视频监控的核心内容。视频监控系统主要经历了三个阶段：(1)模拟视频监控系统(Analog Video Monitoring System)早期的视频监控是以摄像机、监视器(电视机)组成的纯模拟的视频监控系统，称为闭路监视系统。其特点是一个摄像机对应一台监视器(电视机)的监视，只能监控范围很小的区域。随后出现了视频切换设备，改变了摄像机和监视器(电视机)的 1 对 1 的方式。并且随着单片机技术的不断完善，闭路监视系统加入了多路视频切换、摄像机云台/镜头控制和报警联动等数字控制功能，实现了数字控制的模拟视频监控系统,这些统称为第一代视频监控系统。(2)数字视频监控系统(Digital Vi
11、deo Surveillance System)220 世纪 90 年代中期，随着计算机处理能力的提高和视频技术的发展，人们利用计算机的高速数据处理能力进行视频的采集和处理，从而大大提高了图像质量，增强了视频监控的功能。这种基于多媒体计算机的系统称为第二代视频监控系统，即模拟输入与数字压缩、显示和控制系统。因为核心设备是数字设备，因此可以称为数字视频监控系统。(3)网络数字视频监控(Network Digital Video Surveillance)到了 20 世纪 90 年代末特别是近两三年，随着网络带宽、计算机处理能力和存储器容量的迅速提高，以及各种实用视频信息处理技术的出现，视频监控进
12、入了全数字化的网络时代，称为第三代视频监控系统，即全数字视频监控系统或网络数字视频监控。第三代视频监控系统以网络为依托，以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像分析为特色，引发了视频监控行业的技术革命。从功能上讲，视频监控可用于安全防范、信息获取和指挥调度等方面，可以提供生产流程控制、大型公共设施的安防，也能为医疗监护、远程教育等提供各种服务。从应用领域上看，视频监控在各行各业都得到了广泛的应用，除了档案室、文件室、金库、博物馆等重要部门的监视和报警，在公共场所进行安全监控，在其他经济和生活领域进行管理和控制也是必不可少的。在国外已经研制出了多个美国国防高级研究项目署(DAP
13、RA)于 1997 年资助卡内基梅隆大学和戴维 SARNOFF 研究中心等联合开发了自动视频理解技术，研制了用于实现未来战争中人力监控费用昂贵、高危或者人力无法实现等场合的视频监视与监控系统 1-2VSAM(VideoSurveillance and Monitoring)。2000 年，美国国防高级研究项目署又资助了 HID(Human Identification at a Distannce)远距离人脸识别项目;由 SteveJ.Maybax水和谭铁牛组织的 IEEE 视觉监控专题讨论会(vs,IEEE International workshop on visual Surveilla
14、nce)也己经成功地举办了三届；2006 年，IBM 公司宣布己开发并销售一款用于分析视频实时监控系统数据的安全软件，它能够发现到监控环境中的潜在安全隐患并自动报警；IBM 公司将这一新产品命名为“智能监控系统”(S3:smart surveillance system)，简称“S3”，“智能监控系统”可以将视频摄像头捕捉到的信息通过计算机网络传递到整个系统软件上，实施远程监控；Maryland 大学的实时视觉监控系统不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，可以检测和跟踪室外环境中的人并对他们之间简单的交互进行监控。本世纪初，随着以 TI 公司的 TMS320
15、C6000 系列、Philips 公司的Trimedia、Equator 公司的 BSP-15 等为代表的高性能 DSP 的出现，由嵌入式处理器来实时完成高速、大数据量的视频/音频编解码处理成为可能，结合网络通讯技术，使集可编程图像/声音编解码、本地存储、网络传输和自动化技术为一体的嵌入式数字视频监控系统应运而生。以 DSP 为核心的嵌入式数字视频监控系统，配合嵌入式实时操作系统，可3以以应用为中心，根据应用对功能、可靠性、稳定性、成本、体积等的综合要求，对软/硬件进行裁剪，以满足视频监控发展的两大需要：数字化和网络化。目前监控领域最流行的是嵌入式 DVR（数字视频录像机或数字硬盘录像机）系统
16、，使用 TI 的 DM642 或 ADI 的 BF561 等 DSP 芯片。在国内，近年来也有较多科研机构和厂家投入了视频监控系统领域的研究和开发，如中国科学院自动化研究所模式识别国家重点实验室(NLPR)视觉监控组和中国科学院自动化研究所生物识别和安全技术研究中心在该领域做了大量的研究，在人运动的视觉分析、交通行为事件分析、智能交通系统和异常事件检测等方面都取得了不少的研究成；其它高校如上海交通大学、西北工业大学、浙江大学、国防科技大学、北京工业大学也在视频监控领域取得了很多研究成果。厂家方面，长城集团商网通电子商务有限公司、北京微视电子技术有限责任公司、北京硕帆智能科技有限公司和北京汉王科
17、技股份有限公司等自主开发了具有智能报警功能的视频监控系统。1.3 论文的主要工作安全监控是视频监控中的一种重要应用，由于应用场景基本己知，它更加关注不同于场景本身的各种行为的发生，我们将其统称为异常(Anomaly)，这种异常多以运动的形式表现出来，异常场景的检测、跟踪、分析是异常监控的主要内容。通过对监控系统中的图像序列进行实用化的智能场景检测分析和智能化管理，实现信息的实时有效获取和控制，为后期处理工作提供快捷丰富的功能选择，切实降低系统运行成本。论文围绕着智能目标监测、智能异常分析等内容，综合运用视频/图像处理技术、计算机视觉技术等视频监控中的核心技术，根据实际监控工程的需要，分析安全监
18、控中的异常情况，具体有以下几个方面：(1)学习静态背景下运动目标检测的三种算法(帧间差分法、背景差除法、光流场法), 研究智能视频异常监控的结构流程。(2)总结目前常见的异常情况，并研究两种典型的异常情况：周界入侵和运动目标（人）的异常检测。(3)本文采用基于差除法和特征提取的运动目标的方法。首先对差分得到的目标用矩形框框起来，对矩形框内的目标求质心，然后利用质心结合形状特征进行异常分析。42 智能视频监控理论技术基础及关键技术2.1 智能视频监控的结构与功能一般的智能监控系统体系结构如图 2-1 所示，实际是对传统视频监控系统的一个扩展，主要包括摄像机组、智能监控服务器、视频索引服务器、视频
19、存储系统和用户操作终端五部分 2-3。图 2-1 一般智能监控体系结构示意图在该体系结构中，像机获取的视频在数字化的同时就传送给智能视频监控服务器进行分析，自动检测感兴趣的活动或事件，给出实时告警并产生丰富的视频索引 ，同时对像机进行控制。告警的参数和类型是用户预先设定的，视频索引可用于事后的证据视频检索。 智能视频监控服务器是实现智能视频监控的关键组成部分 (如图 2-2 所示)。其功能是对摄像机获取的视频进行智能处理，先检测出其中的感兴趣运动目标，然后跟踪它们，对跟踪得到的一些参数通过分类模块、实时告警模块等处理实现系统的智能。5图 2-2 智能监控服务器2.2 智能视频监控关键技术智能视
20、频监控主要涉及的是视频分析技术 4-5，包括强健的目标检测、拥挤条件下的目标跟踪、关节体的跟踪，以及基于此并结合生物技术 (如人脸识别)的语义推理、活动理解和状态感知、多媒体化描述方法。另外还涉及如何设计多机网络化硬件框架、引入多摄像机系统、完善知识库等等。 快速准确的运动检测。运动检测主要是从监控摄像机所捕捉的序列图像中检测是否有运动 目标存在。 实时性、橹棒性的基于三维模型的车辆与行人及物体的定位、识别和跟踪。 基于移动摄像机的视觉监控技术，即将现有参数固定的静态摄像机改进参数可自动调节的动态摄像机。 多摄像机的协作监控。单个摄像机视野有限，要监控大范围的动态场景就需要多个摄像机，此外多摄
21、像机也有利于解决遮挡问题。多摄像机的定标与数据融合是两个关键问题。 事件的机器学习方法，拟通过对序列图象进行自组织、自学习的方法建立事件的分布模式，从而达到事件识别的目的。 异常现象的检测、报警与目标的行为预测。视觉监控系统的最终目的是为了解释监视场景中所发生的事件，根据要求对异常事件进行报警 ，并能根据当前 目标所处的状态对将要发生的事件进行预测。 研究对目标运动情况给出语义上的解释的方法，并将简单的行为识别与语义理解推广到对监控场景的自然语言描述。 远距离的身份识别。生物特征识别技术与人的运动分析的结合是视觉监控系统的一个重要问题。脸像与步态是具有可感知性与非接触性优点的生物特征，是目前被
22、认为可以用于视觉监控系统中的身份识别的两个主要生物特征。研究脸像、步态、体形特征相融合的人的身份识别算法，以便自动从监控视频中确认可疑份子。62.3 图像处理理论2.3.1 RGB 颜色模型RGB 颜色模型由红、绿、蓝三种基色组成，它大多用于 CRT 显示器和颜色光栅图形 6。这个模型基于笛卡儿坐标系统，3 个轴分别为 R，G，B。通过红、绿、蓝三种基色可以混合得到大多数的颜色，如图 2-3。坐标原点代表(O，O，0)黑色，而坐标点(1，1，l)代表白色。坐标轴上的顶点代表三个基色，而余下的顶点则代表第一个基色的补色。为方便表示，将立方体归一化为单位立方体，这样所有的 R，G，B 的值都在0，
23、1中。根据这个模型，每幅彩色图像包括 3 个独立的基色平面，或者说可分解到 3 个平面上。反过来如果一幅图像可被表示为 3 个平面，使用这个模型比较方便。在本文中实时捕捉的输入的视频图像就是基于 RGB 模型的，目标检测和阴影去除的大部分算法都是基于 RGB 颜色空间的。图 2-3 RGB 颜色模型2.3.2 数字滤波 噪声抑制对于一个基于实时视频采集的图像处理系统来说十分重要 7，它影响图像处理的输入、采集、处理的各个环节以及输出结果的全过程，特别是图像的输入，采集噪声的抑制是十分关键的问题，若输入伴有较大的噪声，必然影响处理全过程及输出的结果。从噪声的分类方法来看是多种多样的。但综合来说，噪声是随机产生的量，所以可以从统计学的角度来定义噪声。凡是统计特性不随时间变化的噪声称为平稳噪声，而统计特性随时间变化的则称为非平稳噪声。设图像信号的二维灰度分布为 f(x，y),噪声用 n(x,y)来表示。对噪声述采用统计意义上的均值与方差。噪声的均值表明图像中噪声的总体强度，计算公式如下:(2-1)MxNynyxnE1),(),(
