1、视频监控系统整合云存储方案2016 年 11 月目 录一、前言 .21.1 物联网与视频监控 .21.2 项目运用背景 .5二、云计算和云存储 .72.1 云计算的概念 .72.2 云存储的概念和技术优势 .7三、云存储产品介绍 .93.1 云存储核心产品 .93.2 架构 .93.3 优势及特点 .10四、现有存储与云存储对比 .114.1 现有存储系统结构 .114.2 云存储结构 .124.3 两种存储方式详细比较 .13五、基于云的云存储解决方案 .155.1 方案背景及概述 .155.2 方案拓扑图 .175.3 功能特色 .17六、云存储其它运用 .18一、 前言 1.1 物联网与
2、视频监控当前，物联网技术在社会公共安全领域的综合应用时机已逐渐成熟。视频监控技术是物联网技术的重要组成部分，是感知安防的主要手段。视频监控也是应用历史相 对较长、技术密集度较大的应用领域。在信息化建设深入开展的背景下，现有视频监控网络存在着缺乏深度应用的模式、监控网的智慧化程度不高、系统建设的投入产出比低等突出问题。如何用新技术改造现有的视频监控网络，使之能更好地适应物联网时代视频监控智慧化、情报化的应用需求已迫在眉睫。 视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和智慧交通的重要组成部分，面临着深度应用的巨大挑战。其应用的瓶颈是视频信息如何高效 提取，如何同其他信息系统进行
3、标准数据交换、互联互通及语义互操作。解决这一问题的核心技术即是视频结构化描述技术。用视频结构化描述技术改造传统的视频 监控系统，使之形成新一代的视频监控系统智慧化、语义化、情报化的语义视频监控系统。 视频监控应用和技术的瓶颈视频监控系统在社会管理和案件侦破等工作中有着不可替代的作用。粗略估算，“十一五“期间全国各地投入到视频监控系统建设的资金约为数十亿元。视频监控系统无论在数目还是在建设资金的规模上都非常庞大。 目前视频监控系统应用中存在一些突出问题：1.缺少视频信息情报的标准化生成方法，进而缺少利用视频信息情报指导侦查、破案的新型警务工作模式。2.视频信息的跨域、跨警种共享以及与其他信息系统
4、的互联互通问题突出，跨系统的语言不统一造成信息成为一个个的孤岛，限制了大情报、大信息系统的建设及应用。 3.存储传输的问题、由于要节省大量的存储空间及传输带宽的限制，不得不对视频数据进行大量压缩，不仅造成图像模糊的问题，而且视频压缩时固定压缩比的方式不够灵活，不得不占用大量的存储空间及传输带宽。4.高效计算的问题。由于视频监控要求计算的多功能性和实时性，而视频数据的特殊性，带来计算成本的增 加，需要构建统一的用于视频监控的视频计算理论和框架。5.视频信息化情报化警务应用各环节缺乏统一的标准和规范。所有这些问题的根本在于对视频内容的不 理解，没有一个高效的、标准化的视频数据交换和视频情报提取的方
5、法。解决这些实际问题，需要对视频结构化描述及以此技术为核心的新型视频监控系统构建进行 重点研究。 视频结构化描述技术的目标及应用前景 视频结构化描述技术紧紧抓住视频内容信息处理和网络化共享应用的主线，力争经过若干年的技术攻关和系统建设，全面实现监控视频信息的情报化、视频监控网络的智慧化，强化警务视频应用的普适性。即实现以机器自动处理为主的视频信息处理和分析，并且通过技术手段转化为可用的情报；实现监控网络之间、终端之间、警种之间的信息共享和主动互操作，实现主动监控、自动联网分析等网络功能；全方位拓展视频在警务工作中的应用模式，大幅度提高技术的易用性，实现 以业务民警为中心的随时随地的灵活、简单和
6、多样的视频按需服务应用。 从应用前景看，视频监控技术所面临的巨大市场潜力为视频结构化描述提供了广阔的应用前景。IDG 的研究报告显示，2009 年中国视频监控市场的总体规模已 达 181 亿美元。当前，许多国外公司已经瞄准了我国的视频监控市场。全面开展视频结构化描述技术研究和产品开发，建立完全自主知识产权的技术体系，不但对 我国安防行业的健康发展极为重要，也可以大力带动相关芯片制造、软硬件产品开发等一大批民族产业的健康发展。 视频结构化描述技术及其发展战略 视频结构化描述是一种视频内容信息提取的技术，它对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解
7、的文本信息的技术。从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息，并进一步转化为实战所用的情报，实现视频数据向信息、情报的转化。 为实现视频数据向视频情报的转化，建议采用以下三大举措突破制约视频监控建设和应用的深层问题。 1.研究关键技术，突破应用难题。在研究业务部门视频应用规律的基础上，建立监控视频结构化描述的模型，攻克一批涉及视频分割、内容提取、内容描述的关键技术。研究涉及关键应用的描述数据库管理技术、图像视频语义检索技术和相应的数据服务技术。2.加强顶层设计，同步构建标准体系。标准化是信息共享的基础。通过对视频结构化技术自身特点和应用模式的研究，建立有关视
8、频结构化描述的标准体系模型，制定覆盖技术实现和应用系统的标准化体系，有步骤地制定相关标准，以规范技术研究和设备开发，指导系统建设、运行以及评估的各个方面，从源头上为视频信息情报化应用的全面展开打好基础。 3.有步骤地开展视频信息情报化系统平台的建设，逐步推动信息资源之间的整合应用。开展有关视频结构化描述数据的应用服务模式研究，制定视频结构化应用的系统及解决方案，并针对一到两个典型的应用环境，建设应用示范系统。通过系统的建设和运行，验证有关视频结构化描述系统的解决方案，探索视频监控网络与业务专网之间的数据交互和服务交互问题，尝试与其他信息系统的资源整合。1.2 项目运用背景随着视频采集、编码技术
9、不断发展，ITS 系统中图片和视频文件清晰度越来越高，随之而来的是对存储空间的需求也呈几何级数增长。面对庞大的数据量，以下几个问题亟待解决容量扩展的技术和成本通常来说，图片信息需要在短期内（一年）保存，随着卡口和监控点数量将不断增加，需要保存的数据量将飞快增长。传统 ITS 系统存储架构，存在着容量扩展困难、扩展成本高、且随着设备数量增加难以统一管理等诸多问题。需要先进完善的 ITS 存储架构加以解决。存储系统性能瓶颈面对日益增长的庞大数据量和高清化的趋势，前端摄像头采集的数据本身将从容量和并发性能两个方面带来业务上的压力，传统方案中存储系统性能有限，越来越难满足增长的需求，如此一来，ITS
10、系统对资料进行读写时将耗费系统较多资源，潜在影响系统整体性能，表现出访问延时增大等问题。难以统一管理随着数据量的规模增长，很容易达到单套存储系统的容量上限。在很多情况下，已经需要多套存储系统提供空间，而跨系统的数据无法进行统一的管理。存储成为一个个信息孤岛，无法有机的融合成一体的存储资源池。同时，随着设备数量的增加，设备状态的监控和日常维护也渐渐成为一个不可忽视的技术挑战。云计算/云存储是并行计算、分布式计算、网络存储、虚拟化、等传统计算机技术和网络技术发展融合的产物，通过网络对 IT 资源进行大规模集中建设和共享管理, 实现各种 IT 应用及资源的集中供给。云存储具有弹性扩展，按需分配，自动
11、负载均衡以及更高级别的可靠性等显著优点，支持超大存储容量、超高聚合性能、便捷的共享方式以及统一管理等需求，可从体系结构上有效解决ITS 系统中传统存储存在的一些问题。二、云计算和云存储2.1 云计算的概念云存储是在云计算概念的基础上发展出来的，要想搞清楚什么是云存储，首先要弄清云计算的概念。云计算（Cloud Computing）的概念提出较早，但一直到 2007 年才有一个较为清晰的定义。目前较为流行的说法是云计算是一种新兴的商业计算模型，他是从对等计算（P2P Computing） 、分布计算（Distributed Computing） 、网格计算（Grid Computing）等概念的
12、基础上发展来的。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。商业化是云计算一个非常重要的特征。对广大互联网客户来说，如何使用云资源，如何把云计算转化成商业利润非常重要。云计算是以服务的形式提供给个人和企业用户。目前主要有三种云服务的形式，如下图所示：2.2 云存储的概念和技术优势云存储是在云计算概念上衍生和发展出来的一种技术或者服务。将网络中各类存储设备汇集在云计算系统当中，通过云计算的概念组织起来协同工作，对外提供数据存储和业务访问的功能，或与存储相关的增值应用，即称为云存储。私 有 云 存 储 是 一 个 新 型 的 云 状 结
13、 构 的 存 储 系 统 系 统 ， 这 个 存 储 系 统 由 多个 服 务 器 及 存 储 设 备 组 成 ， 通 过 集 群 功 能 、 分 布 式 文 件 系 统 和 类 似 网 格 计算 等 功 能 联 合 起 来 协 同 工 作 ， 并 通 过 特 定 的 应 用 软 件 或 应 用 接 口 ， 对 用 户提 供 存 储 服 务 和 访 问 服 务 。当 我 们 使 用 独 立 存 储 设 备 时 ， 我 们 必 须 非 常 清 楚 这 个 存 储 设 备 是 什 么 型号 ， 什 么 接 口 和 传 输 协 议 ， 必 须 清 楚 地 知 道 存 储 系 统 中 有 多 少 块
14、磁 盘 ， 分 别是 什 么 型 号 、 多 大 容 量 ， 必 须 清 楚 存 储 设 备 和 服 务 器 之 间 采 用 什 么 样 的 连 接线 缆 。 为 了 保 证 数 据 安 全 和 业 务 的 连 续 性 ， 我 们 还 需 要 建 立 相 应 的 数 据 备 份系 统 和 容 灾 系 统 。 除 此 之 外 ， 对 存 储 设 备 进 行 定 期 地 状 态 监 控 、 维 护 、 软 硬件 更 新 和 升 级 也 是 必 须 的 。 如 果 采 用 云 存 储 ， 那 么 上 面 所 提 到 的 一 切 对 使用 者 来 讲 都 不 需 要 了 。 云 存 储 系 统 中 的
15、 所 有 设 备 对 使 用 者 来 讲 都 是 完 全 透 明的 ， 任 何 一 个 经 过 授 权 的 使 用 者 都 可 以 通 过 一 根 接 入 线 缆 与 云 存 储 连 接 ， 对云 存 储 进 行 数 据 访 问 。云存储带给用户的好处是显而易见的：1. 更低的扩展成本：任何共享存储架构不外乎有两种方式，开放的云存储系统和封闭的 IP SAN 存储。在需要解决新问题的时候，封闭的架构限制了用户在技术、成本、功能和可用性方面的选择，将用户锁定在某一个品牌上，使其只能向单一厂商采购。相反，云存储其本质就是开放的架构，更佳的成本效率使其易于管理和扩展。不限制其接入主机的数量。所有的存
16、储服务由云存储系统集中提供，从而消除了通过增加服务器扩展系统时的隐含的成本。增加存储容量与增加服务器类似，云存储系统对于它可以管理的容量和它可以建立的卷的数量没有实际的限制，用户可以自由选择他们想要提高容量的任何存储厂商以及将来需要增加的必要的数据服务。2. 提高业务灵活性：云存储能够实现用户控制、按需分配的存储容量和性能。用户可以按照需求轻松的扩展容量，从而大大降低了对存储的依赖性，提高了业务灵活性。3. 提高性能：云存储一般一个数据要在多个地方存放，以提高数据的安全性。这样在读取的时候，云存储管理系统应该可以控制在多个地方同时读写，从而达到性能的线性提升。三、云存储产品介绍3.1 云存储核
17、心产品私有云解决方案的云存储核心产品为大规模分布式存储系统。能够以大量的通用服务器和存储设备为基础，构建一个大规模存储集群，提供上百 PB 的存储容量，并能够方便的进行容量的扩充，具有良好的弹性调整性能。3.2 架构Master(支持 HA）管理文件系统的元数据（包括文件目录树组织、属性维护、文件操作日志记录、授权访问等） ；管理整个存储系统的命名空间，对外提供单一的系统映像；文件读写调度; 文件空间回收 ;多节点拷贝。ChunkServers 管理磁盘和卷;存储用户的文件数据;是整个 UFS 存储系统的存储资源提供者;为客户提供数据传输;由多个物理服务器组成;数据存储目录，看不见实际的数据（
18、只有带编号的目录及文件）客户端（计算节点）挂接分布式文件系统；一般是应用服务器；客户端可以是各种类Unix、 Linux，也可以是 WindowsUCSG（云存储网关）以 Active-Active 方式提供其他非客户端的标准文件协议访方式，支持NFS、CIFS 协议。UFSM（WebGui，界面管理系统）3.3 优势及特点系统具有以下优势及特点 高性能，弹性扩展： 可支持 200 个以上的存储节点，达到数十 PB 的存储容量，高效管理上百亿个文件，单目录可以有效支持千万级的文件数量。 对外聚合带宽随节点数线性增长，高效数据读写技术和文件查询技术能够提供高达 400Gbps 的稳定聚合带宽以及每秒数十万个的文件查询效率。 高智能，易管理： 智能负载均衡技术，保证数据在多个存储节点之间形成最优化存储，提高每台设备的存储利用率，网络传输效率，保证整体性能最优； 当数据节点动态增加时，系统能够清晰的自动识别这一变化，并将数据流按照一定规则分布到新加入到数据节点中，提高整体性能。 高可用： 系统全冗余技术（包括元数据服务器集群、存储服务器集群、网关集群） ，不存在单点故障，保证了系统的高可用特性。 独有的自动故障探测和高效的自动恢复和容错技术，可同时使用多条高速数据通道，消除网络层的单点故障，进一步提高系统的高可用性。 根据用户的安全要求，数据块存在多个副本，保证单个数据节点损
