1、安 徽 理 工 大 学硕 士 研 究 生 选 题 报 告 及 论 文 工 作 计 划 表课 题 名 称： 基于嵌入式 linux 下的视频监控系统的研究 硕士生姓名： 赵舒畅 入学年月： 2013.09 所 属 院(系 )： 电气与信息工程学院 学科专业： 电路与系统 评议组成员姓名： 1、课 题 来 源： 国家计委、科委项目 省 市 自治区项目 国家经贸委项目 学校级项目 国家自然科学基金项目 国际合作项目 国务院其它部门项目 自选项目 主管部门(部委级)项目 其它项目 （选一项打）2、项目所属性质： 基础研究 开发研究 应用基础研究 其它 应用研究 （选一项打）3、预 计 论 文 完 成
2、时 间： 2016 年 4 月 10 日选 题 报 告 时 间： 2015 年 3 月 28 日参 加 报 告 范 围 及 人 数： 填表日期： 2015 年 3 月 28 日安 徽 理 工 大 学 研 究 生 处1、课题来源、选题依据背景情况、课题研究目的、研究动态及存在的问题，并附主要参考文献课题来源：自选项目选题依据背景情况：物联网是通过光学识别、射频识别技术、传感器、全球定位系统等新一代信息技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在链接，实现对物品和过程的智能化感知、
3、识别和管理。物联网现在已被提高到国家的战略高度，它不但是信息技术发展到一定阶段的升级需要，同时也是实现国家产业结构调整、推动产业转型升级的一次重要契机。近年来，全国很多省份和城市都已经围绕物联网纷纷制定出地方的物联网发展规划，并积极推进物联网示范基地和示范工程。从当前的物联网发展形势来看，逐步形成了长三角、珠三角、环渤海地区和中西部地区四大核心区域，这四大区域目前形成了中国物联网产业的核心产业带，呈现出物联网知识普及率高、产业链完善、研发机构密集、示范基地和工程起步早的特点。在这些区域已经建设了很多基于感知、监测、控制等方面的示范型工程。特别是在智能家居、智能农业、智能电网等方面成绩比较突出，
4、在矿山感知、电梯监控、智能家居、农业监控、停车场、医疗、远程抄表等都取得了重大突破。物联网是典型的嵌入式系统，而视频技术是未来几年嵌入式系统发展的排头兵,视频监控业务已经有很多年的发展，如果把摄像机看作人的眼睛，智能视频系统或设备则可以看作人的大脑，视频监控就是物联网的感知环节少不了的“眼睛”，其主要作用是忠实地将远端的视频信息进行展现和记录，是人们视觉的延伸。然而，由于监控探头的数量和监控数据的存储量非常巨大，随之而来的问题是如果完全依靠人工分析和监控，会存在效率低下、识别率不高及存储困难等问题，常常不能实时发现突发事故的发生。 课题研究目的：随着物联网、嵌入式系统、网络和图像处理技术的互相
5、渗透，以嵌入式体系为核心和以网络形式传输的视频采集编码传输已成为视频监控研究热点。它所涉及的领域包括工业控制、网络通信、军事国防、航空航天等，我们所熟悉的电子产品几乎都可以找到嵌入式系统的影子。以嵌入式系统为基础的视频采集与传输系统具有便于计算机处理，适合远距离传输，可靠性高、安装方便、使用灵活和体积轻巧等优点。研究动态及存在问题：视频技术是未来几年嵌入式系统发展的主要驱动力，多媒体技术的发展既为嵌入式系统的发展带来了巨大的机遇，同时也提出了新的挑战。嵌入式设备系统资源，尤其内存资源相对有限，而且受嵌入式微处理器的主频限制，其运算处理速度有限，这使得在嵌入式设备上高效地实现运算量巨大的视频压缩
6、编码任务极具挑战性。所以针对嵌入式设备内存资源有限而视频信息又需要占用很大存储空间的问题，对视频信息高效的编码方式就成了迫在眉睫的关键技术难题。而另一方面随着物联网的层层推进，各种终端信息都需要通过网络进行实时有效的动态的传输，随着 WiFi、蓝牙、 ZigBee 等无线技术的发展及普和多媒体技术的飞速发展，高质量的视频传输已逐步取代传统的语音和文字信息成为数字通信网络的主要拓展业务之一，嵌入式技术与网络、通信和多媒体技术的相互融合将成为数字视频通信领域的发展趋势。而在视频编解码技术定义方面有两大标准机构。一个是国际电信联盟 (ITU) 致力于电信应用，已经开发了用于低比特率视频电话的 H.2
7、6x 标准，其中包括 H.261、H.262、H.263 与 H.264 ；另一个是国际标准化组织 (ISO) 主要针对消费类应用，已经针对运动图像压缩定义了 MPEG 标准。MPEG 标准包括 MPEG1、MPEG2 与 MPEG4。 MPEG1、MPEG2 技术当初制定时，它们定位的标准均为高层媒体表示与结构，但随着计算机软件及网络技术的快速发展，MPEG1、MPEG2 技术的弊端就显示出来了：交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难以实现网络的实时传播。MPEG4 技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为“AV 对象“，高效率地
8、编码、组织、存储、传输 AV 对象是 MPEG4 标准的基本内容。在视频编码方面，MPEG4 支持对自然和合成的视觉对象的编码。（合成的视觉对象包括2D、3D 动画和人面部表情动画等）。在动画编码上，MPEG4 可以在一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。H.264 能以较低的数据速率传送基于互联网协议 IP 的视频流，在视频质量、压缩率和数据包恢复丢失等方面，超越了现有的 MPEG2、MPEG4、和 H.26X 视频通讯标准。更适合窄带传输，在极低码率（32Kbps128Kbps）的情况下，H.264与 MPEG4 相比具有性能倍增的
9、效应，即在相同码率的 H.264 媒体流和 MPEG4 媒体流相比，H.264 拥有大约 3 个分贝的增益（画面质量水平倍增）。32Kbps 的H.264 媒体流，其信噪比与 128Kbps 的 MPEG4 媒体流相近。在同样的画面质量下，H.264 的码率仅仅为 MPEG4 的 1/4。但是 H.264 在获得优越性能的同时，带来的是计算机复杂度增加。所以基于 H.264 的视频压缩编码技术在嵌入式视频监控中的应用是有现实的价值和意义。此外，传统的监控系统大部分都需要接入有线网络才能实现监控的功能，在空间和传输方式上有一点局限性，监控设备不可能面面俱到。一旦由于自然灾害、操作不当、设备老化等
10、问题造成电力事故，而发生故障的地点是不确定的，抢修人员到达现场后，经常由于没有适合的监控管理设备，致使抢修指挥中心无法及时、准确地采集、存储和监管操作现场的实时信息。随着 WiFi 等无线技术的发展及普及，使得无线传输视频数据成为可能。利用无线网络的便捷性，现场可以随时随地将视频传输到指挥中心，从而更好地与现场进行交互。参考文献：1余兆明，查日勇，黄磊，周海骄 . 图像编码标准 H.264 技术M. 北京：人民邮电出版社，20062S3C2440A 32-BIT CMOS MICROCONTROLLER USERS MANUAL Revision 1，SAMSUNG Ltd, 20043MIN
11、I2440 用户手册，广州友善之臂计算机科学有限公司，20074孙琼. 嵌入式 Linux 应用程序开发详解M. 北京：人民邮电出版社，20065陈文智等. 嵌入式系统开发原理与实践M. 北京：清华大学出版社，20056刘伟，童敏. Linux 2.6 内核的嵌入式系统应用J电子技术应用，2006 年第 1期7Daniel P.Bovet, Marco Cesati. Understanding the Linux Kernel (3rd Edition)M. OReilly Press, 20058Application Binary Interface(ABI) for the ARM A
12、rchitecture.ARM Ltd. 2007http:/ Mbit / 32 Mbit / 64 Mbit (x16) Multi-Purpose Flash Plus SST39VF1601 /SST39VF3201 / SST39VF6401 / SST39VF1602 / SST39VF3202 / SST39VF6402.Preliminary Specifications, SST Ltd, 200810宋宝华.Linux 设备驱动开发详解 M. 北京：人民邮电出版社，200811Jonathan Corbet, Greg Kroah-Hartman, Alessandro R
13、ubini. Linux Device Drivers,(3rd Edition) M. OReilly Press, 200512Alan Cox. Video4Linux Programming.www. , 200013Linux 窗口程序设计-QT4 精彩实例分析-PTF 电子书14凌进. 网络视频监控技术的应用和发展D北京：北京邮电大学20076，7:38.15倪继利Linux 内核分析及编程M北京：电子工业出版社，20061,4:315.16戴丽基于 Video4Linux 的 USB 摄像头图像采集实现J合肥工业大学2006,2:31.18刘斌基于嵌入式系统的视频采集模块的设计D
14、西安电子科技大学，2006,53:38.17许海燕, 付炎.嵌入式系统技术与应用M .机械工业出版社，2002.18邹思轶. 嵌入式 Linux 设计与应用M .清华大学出版社，2002.19刘富强. 数字视频监控系统开发及应用M .北京:机械工业出版社，2003.20王英杰, 陈祥献，耿晨歌.嵌入式网络化多媒体视频监控系统的设计与实现J 21萨默菲尔德（英），布兰切特（加）C.GUI.QT.4 编程（第二版） 电子书2、课题的主要内容，拟解决的主要技术问题，在理论和应用方面的意义，完成课题的条件（包括个人业务水平、教研室或学科组的技术、设备条件）和拟采取的技术技术措施和办法：课题的主要内容：
15、本文旨在利用 H.264 视频压缩编码标准在嵌入式平台上进行实时视频通信系统终端的研究开发。论文中采用基于三星 Exynos 4412 四核处理器的 Cortex-A9 开发平台，将嵌入式 Linux 技术与 H.264 视频通信技术相结合，提出了一个基于嵌入式视频服务器的 H.264 实时视频采集与网络传输系统的方案模型，对实际嵌入式视频通信系统的设计开发，具有借鉴意义和实用价值。具体内容包括以下几个方面：（1）针对本课题的软硬件开发平台，先介绍 Tiny4412 开发板的硬件结构，然后介绍嵌入式 Linux 开发技术，详细分析嵌入式 Linux 开发环境的搭建方法，具体为在 pc 机上搭建
16、交叉编译链实现对内核和程序的编译，bootloder 的移植采用的是uboot，针对本开发板的硬件平台，需要添加网卡的支持， nfs 文件系统，串口以及开发平台 exynos4412 的相关支持，其次要用 busybox 实现根文件系统的制作以及内核的编译和移植。（2）在底层驱动设计方面，一切的设备操作都是以文件的方式进行的，设备驱动就是提供文件操作接口，本文的 usb 驱动通过 id_table 的方式进行 usb_interface 匹配进入 probe 探测函数，然后通过结构体 file_operations_ov511_ops 中的关联操作函数完成相应的设备的打开 open（），相关信
17、息的读取 ioctl（），视频帧数据的读取 read（）以及设备的关闭 close（）等。（3）在应用层视频数据采集，编码和传输的程序设计，通过对 v4l 接口的调用实现与底层驱动的交互和视频数据的采集，同时对开源的 h.264 的编码库 t264 的移植实现对视频数据的压缩，在传输方面采用 c/s 架构，通过 udp 传输，创建基于 udp 的socket 的创建，通过对结构体 struct addr_in 的初始化，再通过 bind（）实现 ip 和端口的绑定，通过 sendto（）实现视频数据的传输。（4）客户端采用 qt 编写的基于 tcp/ip 协议的播放器，播放器与指定的 ip 摄
18、像头相关联，以实现视频数流的请求和接受，模块启动后，接受线程从服务器上接受到视频数据后，进行组帧，并把一帧数据放入环形缓冲区中，解码线程从缓冲区中每次读出一帧视频数据，调用 ffmpeg 库进行解码，将 H.264 视频数据转化为 yuv420 数据，最后将解码数据送入播放线程进行播放，最后三个模块协同合作实现视频数据的动态显示。拟解决的主要技术问题：（1）在本次设计中选择静态加载方式，在/home/zsc/work/linux 目录下 make menuconfig。（即编译内核的图形化界面） 首先(*)（“enter”键）选择 Multimedia device-下的 Video for
19、linux。加载 video4linux 模块，为视频采集设备提供编程接口；然后在 usb support-目录下(*)选择 support for usb 和 usb camera ov511 support。这使得在内核中加入了对采用 OV511 接口芯片的 USB 数字摄像头的驱动支持。然后保存配置退出；修改内核目录下 videodev.c 程序，最后 make zImage 编译内核，然后通过dnw 加载内核到开发板。（2）基于上述对现在视频编码技术的分析，采用基于 H.264/AVC 视频压缩编码标准的视频采集应用程序的编写时此次设计的难点和重点。在视频数据采集方面，通过对 linu
20、x 内核加载的 v4l 接口的研究，从何获得对视频数据的采集，v4l 实际上是对设备操作方法的宏定义和相关的数据结构，通过 ioctl 和相关的宏开关来获取相关的数据信息，VIDIOCGCAP 宏定义用于获取设备的基本信息保存在 video_capability 结构体中，包括设备名称，最大最小分辨率以及信号源信息等，其次通过 VIDIOCSFBUF设置采集卡的帧缓冲参数，并把信息保存在结构体 video_buffer 中，对于视频捕捉窗口则通过 VIDIOCGWIN 来填充 video_window 结构体，另外其他的如视频源信息，图像属性与设置通过相应的宏来获取和设置，另外对于图像的捕捉有
21、两种方法，V4L 为视频设备采集图像提供两种方法：一是 read()直接读取，二是 mmap()内存映射。read()通过内核缓冲区来读取数据，该系统调用在驱动程序中是通过 copy_to user()函数将内核空间的数据拷贝到用户空间的。但是对于像视频采集等大批量的数据处理，采用拷贝的方法会大大增加时间开销。mmap()系统调用使得进程间通过映射同一文件实现共享内存，各进程可以像访问普通内存一样对文件进行访问，访问时只需使用指针而不必调用文件操作函数。内存映射方式的图像截取步骤是：首先设置好图像尺寸和象素深度等属性，接着使用 VIDIOCGMBUF 获取 mmap 的缓冲区尺寸和图像帧在缓冲
22、区内的偏移量等信息，并保存 到 video_mbuf 结 构 体 中 。 在 调 用 mmap 作 好 内 存 映 射 后 ， 然 后 使 用 VIDIOCMCAPTURE 按照 video_mmap 结构体中指定的图像尺寸和格式来进行图像帧的截取。VIDIOCSYNC 用于等待一帧图像截取的完成。继而通过调用 H.264 开源编码库的接口函数完成对图像数据的处理。最后通过创建套接字 UDP 将编码的视频向客户端传送。（3）在客户端的设计上，通过 UDP 连接获得网络监控视频数据流，存入数据缓冲区，接着通过 ffmpeg 解码器中的相应的函数进行解码，最后通过视频输出模块进行视频输出。其中视频
23、数据的接受、解码、输出显示都是通过 Qt 相应的类库以多线程的方式同时进行，在解码的同时不断的将数据进行解码并存入环形缓冲区，从而保证视频数据的实时传输。其次就是 UI 界面的设计，主要是包括登陆界面，设置界面，显示界面，为了方便界面的相互跳转，采用 Qt 自带的 QStackWidget 控件来实现，此类事 QWidget 的派生类，所以属于可视控件，登陆界面主要有三个 QPushBtoon 和两个 QLineEdit，登陆界面的主要的作用就是提供用户名和密码，以实现对视频界面的安全保护，当用户点击连接时，根据用户名和密码的正确与否确认死否进入显示界面，其中连接按钮通过 click（）信号来
24、与 on_connect_click（）槽函数的连接，在槽函数内完成对用户信息的检验，并进行套接字的创建完成与服务器的连接和视频的数据的处理和显示。在理论和应用方面的意义：随着嵌入式技术、数字视频以及无线网络技术的飞速发展，视频监控技术也日趋成熟，并成功运用于社会生产生活中各个领域。本文设计和开发了基于嵌入式系统linux 和 WiFi 无线技术的便携式视频传输系统，有如下特点：依靠手持终端，随时随地采集和传输现场图像，突出便携性；采用 WiFi 无线技术，方便快捷；使用TCPIP 协议传输视频数据，保证了传输的可靠性。完成课题的条件（包括个人业务水平、教研室或学科组的技术、设备条件）：本人对
25、嵌入式系统的移植和典型驱动的开发知识掌握扎实，一直从事嵌入式系统的研究，编写过相关设备的驱动。本课题指导老师在此课题研究中提供了相应的电子材料和模块，给予了充分的理论指导。拟采用的技术措施和方法：（1）通过查阅大量文献资料，了解目前相关知识的发展水平和技术要求。（2）在嵌入式平台上进行 linux 的移植和开发环境平台的搭建，为后续驱动程序的以及应用程序的编写和调试提供开发平台。（3）通过在开发板上不断的调试和程序的修改来达到最佳的实验效果和性能指标 。3、课题工作量及进展计划（包括各阶段计划完成的内容和所需的时间等）。2014.072015.03 收集和整理课题的相关资料。2015.0420
26、15.07 研究基于嵌入式平台开发环境的搭建，pc 端交叉编译环境的搭建，nfs 服务器搭建，根文件系统的制作，uboot 的制作和移植以及内核的裁剪与移植等开发环境的准备工作。2015.082015.12 底层方面，相关外设驱动的编写和调试，以及最终以内核方式的加载，应用层方面，服务器端视频采集传输程序编写，以及开源编码器、解码器的移植，客户端程序的编写与调试，以及 UI 界面的美化，最后进行整个系统的运行与调试，以及数据和现象分析与总结。2016.012016.03 撰写论文并准备论文答辩。4、导师对硕士生选题报告的评语（硕士生对国内外文献、动态、水平是否了解清楚，的所选课题是否适当、正确，预期目标能否达到，理论和实际应用的价值如何、路线和措施是否具体可行等）：导师签字：年 月 日5、选题报告会评议组意见：组长（签字）：年 月 日6、院(系) 审查意见：院(系)负责人（签字）：年 月 日注：此表一式三份，导师、院(系)、研究生处各一份。硕士生应在第三学期末举行的选题报告会之前填写此表，经导师和评议组负责人签署意见、所在院(系)审核后报研究生处备案。
