云存储方案.doc

1、1.1 云存储系统1.1.1 系统概述随着视频监控系统规模越来越大，以及高清视频的大规模应用，对视频监控系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得尤为重要，存储系统正在成为视频监控技术未来发展的决定性因素。面对几百 TB，乃至 PB 级的海量存储需求，传统的 SAN 或 NAS 在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，而且可以实现性能与容量的线性扩展，这对于追求高性能、

2、高可用性的企业用户来说是一个新选择。云存储是在云计算（cloud computing）概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。 依据云存储的功能特点，海康威视公司专门针对大容量视频数据的存储和管理以及满足视频监控领域特殊的应用需求，量身设计了一套海康威视视频云存储监控系统。海康威视视频云存储系统可以同时应用于视频、图片混合存储，承担整个系统内的视频/图片的数据写入/

3、读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将云存储的存储功能、管理功能进行打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个安防监控系统提供了高效、可靠的数据存储服务。1.1.2 系统架构1.1.2.1 技术路线在视频云存储系统的设计中，采用的核心技术如下：1) 采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架，可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上合理利用空间的效果。2) 采用集群

4、技术，解决单/多节点失效问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性和安全性。3) 采用离散存储技术，保障了用户高效的读写的同时保证了业务的持续性。4) 采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度。5) 采用开放的集成构架，使其可兼容业界各类 iSCSI/FC 存储设备，保护用户现有存储投资资源。6) 采用数据备份和容灾技术，保证云存储中的数据不丢失，保证云存储服务的安全稳定。1.1.2.2 逻辑架构云存储系统采用分层结构设计，整个系统从逻辑上分为五层，分别为设备层、存储层、管理层、接口层、应用层。图 1. 云存储逻辑架构图1) 设备层设备层是云存储

5、最基础、最底层的部分，该层由标准的物理设备组成，支持标准的 IP-SAN、FC-SAN 存储设备。在系统组成中，存储设备可以是 SAN架构下的 FC 光纤通道存储设备或 iSCSI 协议下的 IP 存储设备。2) 存储层在存储层上部署云存储流数据系统，通过调用云存储流数据系统，实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射，实现数据（视频、图片、附属流）和设备层存储设备之间的通信连接，完成数据的高效的写入、读取和调用等服务。3) 管理层在管理层，融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录

6、像计划的主动下发，以及硬件设备的状态监控和故障维护等；实现整个存储系统的虚拟化的统一管理，实现上层服务（视频录像、回放、查询、智能分析数据请求等）的响应。4) 接口层应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及统一的访问接口，接口类型可分为 Web Service 接口、API 接口、Mibs 接口，可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。实现和行业专属平台、运维平台的对接；实现和智能分析处理系统之间的对接；实现视频数据的存储、检索、回放、浏览转发等操作；实现关键视频数据的远程容灾；实现设备以及服务的监控和运维等。5) 应用层从逻辑上划分，除了应

7、用层外，剩下的四层都属于通常云存储的范畴，但是在海康威视视频云存储系统中，为了与视频监控系统的建设和应用更加紧密的结合，更加符合用户的业务需求，将应用层纳入了整个系统架构中，从根本上提高海康威视视频云存储系统的针对性。可将行业视频监管平台、运维平台、智能分析平台等通过相应的接口与云存储系统对接，实现与云存储系统之间的数据以及信令的交互。行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互，辅助流数据、视频数据、图片数据的存取。运维平台采用标准的 SNMP 协议实现并提供 Mibs 接口，对云存储系统以及服务进行监控管理，及时将产生的告警传递

8、给用户。将智能分析平台可与云存储系统进行对接，实现基础数据的读取，以及经过存储的二次分析后的片段信息，文本信息写入和检索。1.1.2.3 物理组成视频云存储系统主要由管理节点和存储节点（物理存储设备）两部分组成。系统内部需要配置的元数据信息由管理服务器统一管理，管理节点还需要负责集群内部的负载均衡，失败替换等管理职能；视频云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进行线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。视频云存储管理节点（CVMN）：部署管理服务器，是视频云存储系统的核心节点，作为云存储系统的调度中心负责云存储系统资源管理、索引管理、计

9、划管理、策略调度等。根据项目对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可以按照两种方式部署：双机部署、集群部署。视频云存储节点（CVSN）：作为云存储系统业务的具体执行者负责视频数据存储、读取、存储设备管理、存储空间管理等。1.1.3 系统特点1) 高效灵活的空间管理 对存储资源进行虚拟化整合，提高用户管理效率； 支持存储资源的在线扩展，实现容量与性能的线性增长； 虚拟空间可灵活调整，不但能扩大，同样能缩小。2) 海量数据的快速检索 采用一体化索引设计，大大提高了查找速度； 深化视频、图片的应用设计，支持 I 帧信息快速读取。3) 持续可靠的数据服务 提供 7X24 小时

10、不间断高效可持续的数据服务，充分保护数据安全和可靠性； 采用全集群化设计，性能全面提升，设备压力负载均衡，单/多点故障，录像业务不中断； 数据存储采用离散存储算法，提供系统级高效、稳定存取服务。4) 高可扩展的应用支撑 系统的高性能设计，能够并发服务以满足视频数据的高速读取需求。 采用流式数据结构，面向视频、图片数据而设计，满足视频数据的持续写入； 深入开发视频录像的专业化应用设计，优化了应用的服务质量。5) 开放透明的兼容系统 统一开放的应用功能接口，由上层业务平台直接调用； 采用的是标准设备兼容模式，支持标准 IP SAN、FC SAN 存储设备的接入。1.1.4 系统功能视频云存储系统主

11、要实现功能如下表所示：功能项 功能说明系统功能 集群化管理负责 CVMN 集群的创建和维护工作。负责集群内各节点的添加、删除、修改和运行状态监控工作。负责业务响应、处理的集群内的负载均衡工作，动态调配集群处理资源，提高系统运行效率和响应速度。维护集群运行高可靠性，单/多点故障时业务压力自动调整保证业务处理不中断。虚拟化管理将系统内存储节点内数据块通过虚拟化统一整合成为资源池，实现用户对资源池的透明管理管理。资源池灵活划分录像池，通过录像池负载视频/图片数据的存储工作。录像池灵活调整，支持录像池创建后的扩大和缩小。离散存储管理对某路或多路数据流进行切片后按照内置离散算法自动分散到不同存储设备的数

12、据块中进行存储。对某路或多路数据流进行切片后按照内置离散算法分散到指定的部分存储设备的数据块总进行存储。提供数据读取并发响应功能，提高系统数据吞吐量和响应效率。录像管理功能录像计划执行1、根据配置要求确定通道和存储地址，负责将视频流数据向录像池的写入操作。视频录像按照用户制定的计划保存前端设备采集的录像数据，录像类型、录像头。支持补录，即断网等条件下，前端设备能够将本地保存的数据补录到系统中。支持动态修改录像类型，即采集视频数据过程中可以按报警类型修改录像的类型并即时保存到系统中。视频回放支持根据编码器名称以及时间段、录像类型对录像数据进行回放。支持根据编码器名称以及时间段对录像数据进行回放时间定位。支持快放、慢放、倒序回放和手动停止回放。支持 I 帧回放存储应用功能视频标注 对录像、图片等数据信息所对应的标签进行打标、存储、备份等操作。对录像、图片等数据信息的标签信息进行查询、检索、筛选工作。对录像、图片等数据信息所对应的标签进行修改、删除等操作。图片存储支持按照用户制定的计划保存前端设备采集的图片数据。图片下载支持按时间段下载图片。支持浏览器 http 的 URL 方式下载图片。图片压缩 支持图片大小压缩和尺寸缩放。运维功能 周期覆盖按策略支持按周期、容量进行图片数据的周期覆盖式存储。