基于NAS的视频存储与回放系统的设计与实现——硕士论文.doc

1、学校代码： 分类号： 密 级： 公开 UDC： 学 号： 基于 NAS 的视频存储与回放系统的设计与实现 研究生姓名 ： 导师姓 名 ： 校外导师： 申请学位类别 工程硕士 学位授予单位 东 南 大 学 工程领域名称 软件工程 论文答辩日期 年 月 日 研究方向 软件工程 学位授予日期 20 年 月 日 答辩委员会主席 评 阅 人 年 月 日 工程硕士学位论文 I 摘要 关键字 ： II ABSTRACT Abtract : 东南大学硕士学位论文 目录 摘要 .I ABSTRACT. II 第一章 绪论 . 1 1.1 研究背景 . 1 1.2 国内外研究现状 . 2 1.3 课题研究的目的及

2、意义 . 4 1.4 论文研究的主要内容 . 4 1.5 论文章节安排 . 4 第二章 系统关键技术 . 6 2.1 嵌入式开发 . 6 2.1.1 嵌入式处理器和实时操作系统 . 6 2.1.2 嵌入式交叉开发环境 . 7 2.1.3 嵌入式 Linux 特点 . 8 2.2 系统设计的关键技术 . 8 2.2.1 视频存储策略 . 8 2.2.2 流媒体技术 . 9 2.2.3 实时流媒体协议（ RTSP） . 12 2.2.4 ONVIF 协议 . 14 2.3 本章小结 . 15 第三章 需求分析与系统总体设计 . 16 3.1 需求分析 . 16 3.2 系统设计目标 . 17 3.

3、3 软件系统总体设计 . 17 3.4 本章小结 . 18 第四章 系统实现（第一部分） . 19 4.1 摄像机 自动 发现 . 19 4.2 网页配置功能 . 21 4.2.1 Django 框架 . 22 4.2.2 Django 工作原理分析 . 22 4.2.3 配置模块的实现 . 24 4.2.4 网页部署 . 25 4.3 硬盘选取实现 . 26 4.4 视频数据的存储 . 27 4.5 数据检索 . 28 4.5.1 数据库表建立 . 28 4.5.2 视频数据的检索 . 29 4.6 本章小结 . 30 第五章 系统实现（第二部分） . 32 5.1 SOAP 协议 . 32

4、 5.1.1 协议内容 . 32 5.1.2 协议结构 . 33 5.1.3 gSOAP 工具 . 33 东南大学硕士学位论文 2 5.1.4 网络服务描述语言 . 33 5.2 摄像机连接实现 . 34 5.2.1 流 URL 获取 . 34 5.2.2 RTSP 客户端实现 . 36 5.2.3 RTP 解包 . 37 5.3 任务 管理实现 . 42 5.4 RTSP 服务实现 . 42 5.5 RTP 封装 . 46 5.6 本章小结 . 49 第六章 系统测试结果 . 50 6.1 NAS 设备 硬件 . 50 6.2 系统测试 . 50 6.2.1 系统测试环境 . 50 6.2.

5、2 系统测试工具 . 50 6.2.3 测试数据分析 . 50 6.3 测试 结果 . 52 6.4 摄像机配置界面 . 52 6.5 客户端点播界面 . 53 6.6 本章小结 . 54 第七章 总结与展望 . 55 7.1 论文工作总结 . 55 7.2 研究工作展望 . 55 参考文献 . 57 致谢 . 59 1 第一章 绪论 1.1 研究背景 由于网络技术的发展，各行各业对网络的依赖程度越来越强烈，网络让人们可以分享信息，相比本地有限的存储容量，网络提供更多的信息量，更多的存储容量。随之而来产 生了 SAN(STORAGE AREA NETWORKS：存储区域网络 )和NAS（ NE

6、TWORK ATTACHED STORAGE： 网络附加存储）这样的产品。越来越多的数据证明，网络存储已成为继个人计算机和互联网之后的第三次 IT 浪潮的引导者。从存储的数据量的急剧增加引发存储方式的转变，按存储数据量的大小则是由前端存储、集中存储到分布存储这样梯形增加，以集中存储为中心的网络存储已成为全球各商家及企业最为关注的信息技术之一。 NAS 是网络存储最主要的形式之一，特点是操作系统完全以数据为中心，将存储设备与传统服务器彻 底分离，通过内嵌操作系统和管理软件对数据集中管理，便于用户安装、维护和升级，同时有效释放带宽，从而提高网络性能，因此广泛应用于各个行业。 视频监控涉及到大量的视

7、频数据，在视频监控进入网络时代以后，将网络存储技术引入到网络监控中是必然趋势。 近年来， “平安城市 ”、 “3111工程 ”、 “全球眼 ”、 “宽视界 ”等重大项目的开展足以看出安防在国内具有巨大的发展潜力，视频监控在交通、食品、卫生检疫、海关、能源、金融、国防等领域广泛应用，拥有很大的市场潜力。市场的扩大促使安防技术不断进步。网络的发展则带给了这个行业带来了一 次全新的变革，目前安防监控技术已经从模拟到数字再到网络监控的转变，最为主要的是视频数据量急剧增大，视频数据存储已成为监控行业主要研究方向之一， NAS 在网络存储中应用非常广泛，则必然在监控行业也有广泛的市场前景。 监控行业在数字

8、化的时代，视频存储这块主要的产品是 NVR（网络硬盘录像机）和 DVR（数字硬盘录像机），数字时代的早期主要是 DVR，后来因为网络的发展导致网络监控的普及、带来了各式各样的 IPC（网络摄像机）、监控网络部署成本的降低进而使的 NVR 取代了 DVR，成为监控行业视频存储的主流产品。但是随着监控网 络规模的扩大化、复杂化对存储产品要求也不断提高。目前监控行业的存储解决方案主要有四种： 、传统的 (DVR)数字硬盘录像机采用的方式，采用 IDE 硬盘或者 SATA 硬盘读写，不算是专业的存储产品，其对于数据存储要求的稳定性、安全性、管理、维护性和拓展性都不符合要求； 、 DAS（直接附加存储）

9、，直接连接磁盘阵列实现存储模式，主要弱势有拓展性差、资源利用率低、无法资源共享等； 、 NAS 存储，其是一种文件共享服务，拥有自己的文件系统，是基于 “文件级 ”的存储方式，具有良好的资源共享能力和较高东南大学硕士学位论文 2 的安全性； 、 SAN 存储，是一 种通过网络方式连接存储设备和应用服务器的存储架构，是基于 “数据块 ”的存储方式，这种方式拓展性良好，有效的提高系统的性能。 NVR 类产品提供的解决方案依据部署规模主要采用 和 这两种存储模式。存储模式 属于中高端应用， NVR 则面向中低端。 目前面向中低端的市场， NVR 采用 NAS 存储方案的优势，将应用程序运行在 NAS

10、 设备上，有效提高了带宽利用率，又因为其存储方案为 NAS，具备远程挂载、实现资源共享、有效的增加资源的安全性，那么对于采用 NAS 存储方式的 NVR 类产品在中低端市场上是具有一定需求的，因此本文讲述的就是将 视频存储和回放直接假设到 NAS 设备上，有效的节约硬件成本，不仅可以利用 NAS的存储优势，又可在 NAS 设备上运行应用程序采集视频和管理视频。因此设计一个基于 NAS 的高性能视频存储与回放系统是很有意义的。 1.2 国内外研究现状 网络技术的发展，让数据资源得到了有效的利用，网络存储数据急剧增加，引发了数据存储的更替，大致经历了三代，分别是 DAS、 NAS、 SAN。 最初

11、的存储方式前面所述的 DAS， I/O（输入和输出）请求直接发送到存储设备，早期网络的发展使其得到发展，到了二十世纪八十年代，计算有大型的集中式系统发 展成为灵活的客户端分布式服务器模式，又因处在初级阶段的局域网推动了这一转变。连接服务器的存储（ Server-Attach Storage）和 DAS 很相似，但部署方式为分布式，并依赖局域网的连接得以实现。计算能力、内存、存储密度和网络带宽的进一步增长导致越来越多的数据存储在个人 PC 和工作站中，这样分布式的计算和存储的增长对存储技术有了更高的要求，今天，所有的存储操作都有通过 CPU 的 I/O 来完成，使用 DAS 存储设备和主机操作系

12、统紧密相连，系统则背负多重负担，硬盘读写和应用运行，如果对于存储数据读写繁多的话，则应 用程序运行会急剧恶化，加上无法实现文件共享，因此 DAS 架构基本已不再被采用。 NAS 是将存储设备通过标准的网络拓扑结构，连接到一群计算机上，包含了一个特殊的文件服务器和存储架构。局域网技术广泛实施，计算机的激增引发了数据不兼容性问题突发，从而使得数据获取的方式日趋复杂，采用局域网加工作站族的方式实现文件共享，对互操作性和节约成本有很大的意义。 NAS 类产品操作简单，采用优异的文件系统和预配置的存储设备，局域网客户端可直接通过 NAS 系统与存储设备交互。目前支持 windows、 NetWare、

13、Unix、 Linux。 后来出现了 SAN，存储工业协会（ SNIA）对 SAN 架构的定义：一个主要目的是用于计算机系统和存储组件以及存储组件之间进行数据传输的网络。 SAN包含通用通信基础结构，包含物理连接和管理层，可以将连接、存储组件和计算3 机系统组织起来，确保数据的安全和稳定。 SAN 通常只块 I/O 服务而不是文件访问服务。先后发展起来两种 SAN，如果基于 FC 协议的则称为 FC-SAN，如果基于 iSCSI 协议的为 IP-SAN。表 1.1 列出了硬盘、 DAS、 NAS、 FC-SAN 和 IP-SAN的相关数据，并且进行了比较。 存储 方案 功能类型 硬盘 DAS

14、NAS FC-SAN IP-SAN 数据保护机制 不具备 具备 具备 具备 具备 高共享性能 不具备 不具备 具备 具备 具备 存储设备集中管理 不具备 具备 具备 具备 具备 数据高可用性 不具备 具备 具备 具备 具备 高速读写性能 具备 具备 不具备 具备 具备 可拓展性 不具备 不具备 具备 有限具备 具备 投入成本 低 低 低 高 低 维护成本 高 较高 中 高 低 使用领域 系统后备存储 小型监控系统扩容 中小型监控 系统构建 大型监控系 统构建 各类 型的监控系统构建、扩容 表 1.1 存储方案分析对照表 在硬件和网络结构方面， NAS 集成磁盘阵列的优点，在数据管理方面配置方便

15、和快捷，在由上表做出的分析和比较，得出视频监控行业在符合 NAS 部署规模的监控网络中，应用 NAS 是一个比较理想的存储方式，因此在监控行业 NAS的市场前景很大。 NAS 产品一直作为一种通用存储方案，因此应用范围很广。单做存储的行业公司其产品无法做到完全符合监控需求，一般做到的是兼顾通用性，而监控行业做存储的更倾向于缺乏做存储的具体应用而缺乏做 NAS 存储设备的技术，因此在一个 NAS 存储技术比 较成熟的产品之上结合监控行业存储软件技术，在 NAS 设备上设计实现并运行视频存储和回放系统是很有市场潜力的。 前端的存储，由于监控行业的特殊性导致存储的数据是巨大的，而网络存储就是因为不断

16、扩大的存储容量需求产生的。 SAN(STORAGE AREA NETWORKS)存储区域网络和 NAS（ NETWORK ATTACHED STORAGE）网络附加存储是两种证明可行的网络存储方式。文件系统在存储子系统中的存在得以将 NAS 从SAN 中区分开来，不过这两种存储方式的选取完全取决于用户的需求。由于监控行业视频数据的巨大， 建立相对独立的视频存储系统是监控行业未来发展的一个方向，因此将网络存储应用到监控行业是显而易见的。用户自然可以在两种流行的存储方式中随意选择，但是就如前面所述，用户可以根据监控的规模需求来决定， NAS 一般应用于中小规模的存储，而 SAN 则多适用于大中规模

17、的存储。目前在监控行业的较为流行的设备为 NVR（ Network Video Recorder）网络硬盘录像机，而 NAS 在监控行业应用多为将 NAS 设备挂在到 NVR 设备之上，需要依赖 NVR 的转发功能，但是系统搭建成本过高，而且这种做法并没有真正做到东南大学硕士学位论文 4 视频存储的独立性 。 1.3 课题研究的目的及意义 该课题旨在分析监控行业的目前网络监控产品的软件应用和 NAS 设备对视频存储的支持情况，以及它们可移植性、拓展性、安全性、稳定性进行分析，比较各自优缺点，得出在 NAS 设备上直接运行监控行业的应用软件，能够更好的发挥出各自的优势，让 NAS 设备在监控行业

18、的运用最大化和具体化。 1.4 论文研究的主要内容 该课题研究的主要内容是在充分了解和研究了 NAS 存储方案以后，分析和研究了视频存储和回放的解决方案，得出在 NAS 设备上运行视频存储与回放系统具有很高的应用价值，并进行了工程实践。主要 工作包含一下几个方面： 在基于公司选定的采用 linux 操作系统的 NAS 设备上，进行对于开发该系统的理论分析和研究。 1、对于该系统实现中需要应用到的流媒体传输技术和数据存储策略的关键技术进行研究与分析。 2、对开发本系统的基础性前提进行研究与分析，包含嵌入式开发以及 linux的特点。 3、对系统总体结构进行设计，对系统子模块应用的一般技术进行研究

19、与分析，并在该子系统中进行应用。 1.5 论文章节安排 第一章 绪论 ， 介绍课题研究的基础、来源、意义以及本文的主要内容和工作安排。 第二章 系统的 关键技术， 论述了嵌 入式开发， 分析了系统设计的关键技术。 第三章 需求分析与 系统总体设计，论述了视频监控对 NAS 设备的应用需求，以及基于 NAS 设备的应用软件系统的总体结构，以及各模块的简要说明。 第四章 系统实现（第一部分），包含 系统配置模块的详细 实现和 系统存储模块的详细 实现 ，介绍了该系统视频存储模块的具体实现 和 该系统视频存储模块的具体实现。 第五章 系统实现（第二部分），包含 摄像机配置模块详细 实现和 摄像机 连接模块的详细 实现， 介绍了该系统摄像机配置模块的具体实现 和 该系统的摄像机接入模块的具体实现。 第六章 系统测试结果，给出了 系统测试结果以及系统运行效果展示。