1、论视频系统和大数据图像的存储问题摘要：视频图像的采集、传输和存储这三个环节，是大数据结构处理的瓶颈。本文主要通过以视频监控系统为例阐述视频系统和大数据图像的存储问题。 关键词：视频系统；大数据存储；问题 中图分类号：C37 文献标识码：A 一、当前视频系统和存储设备的普遍情况 (1)前端使用模拟摄像头、传输线路采用视频线或者双绞线、格式采用 CIF 或者 D1 的情形最为普遍。 格式通常采取的是隔行扫描的方式，在通常的清晰度默认值，350线下，一路视频的数据量一小时不超过 150M，一天即在 3.6G 左右。如果设定值为 480 线、720 线，占用的硬盘存储空间还将更大。 D1，即 280i
2、 (525i)格式，清晰度为 720 X 480(水平 480 线，隔行扫描)，和 NTSC 模拟电视清晰度相同，行频为 15.25kHz 经过测算，D1格式视频的数据量相当于 CIF(352288)格式的 3.9 倍占用硬盘的存储空间较 CIF 格式视频增加了将近 3 倍。 (2)硬盘录像机即数字视频录像机；相对于传统的模拟视频录像机，由于使用硬盘录像，故常常被称为硬盘录像机，也被称为 DVR。它是一个进行图像存储和处理的计算机系统，具备对语音、图像进行长时间记录和远程监视及控制的功能。 DVR 集合了录像机、画面分割显示器、云台镜头的控制器、报警控制器等的多种功能，以及网络传输等功能于一体
3、；由于能够以其一台设备的软件控制能力，集中取代模拟监控系统诸多硬件设备的功能，故此在价格上逐渐占有优势。DVR 采用的是数字记录技术，在图像的处理、储存、检索、备份以及网络传递、远程控制等方面也远远优于模拟监控设备，是目前的电视监控系统市场上的主流产品。 (3)传统的 DVR 系统采用模拟前端，监控点与中心 DVR 之间以模拟方式互联，因受到传输距离以及模拟信号损失的影响，监控点的设置受到很大的局限，无法实现远程部署。NVR 可通过网络连接 IPC(网络摄像机)，可以支撑全网络化架构的视频监控系统监控点设备与 NVR 之间可以通过任意 IP 网络互联，因此监控点可以位于网络的任意位置，不会受到
4、地域的限制:这也是远距离大视频系统未来的发展方向。 使用 NVR 的高清系统，大数据存储的问题更加突出。例如，分辨率为 1280 720 的高清视频，30 秒的图像数据占用的存储资源是 7.9M，一天为 22G；分辨率为 19801080 的高清视频，30 秒的图像数据占用的存储资源是 22M，一天是 63G。如果一个系统中有 100 个这样的摄像头，按照存储时间为 20 天考虑，其存储量非同小可。 二、视频系统和存储设备普遍存在的问题和解决手段 目前的监控存储系统，存储设备使用的硬盘分布于各硬盘录像机内；整个系统开机运行后，所有的硬盘同时连续运转，产生的热量较多，各硬盘录像机的散热条件却参差
5、不齐，这与各硬盘录像机所处的环境有关。在使用的硬盘不多时，其中的问题并不突出，但是，所有半导体器件的参数都与温度有关，例如环境温度的升高会使三极管 C、B 极间的反向电流升高，会使光敏器件的暗电流有较大的提升，也会使二极管的稳压值发生变化等这些有害因素逐步积累，终将影响电路的正常工作。 电子设备在工作的同时，必定要消耗电力能源而产生热量，而过高的热量会使设备中的电子元器件寿命缩短或受到永久损害。随着电子技术的迅猛发展，电子设备过热及其所处的环境温度过高带来的问题愈显突出。大量的事实表明，电子元器件失效的情况会随温度升高呈指数性增加。另外，元器件的发热对周围元器件的性能也有着十分有害的影响。调查
6、显示，50%以上的电子设备故障是由于环境问题造成的，而温度升高是其中最主要的原因。选择磁盘阵列与恒温机柜结合应用的方案，是解决此类问题比较好的一种选择。 三、磁盘阵列与视频系统结合应用是有效提供视频文件的技术保障 磁盘阵列与视频系统的结合应用是解决大规模图像存储实质问题的主要手段。接下来就以国家图书馆一个较小规模的普通视频系统为例进行阐述。该系统有 40 台普通的硬盘录像机，共配备了 160 块单个存储量为 2T 的硬盘。以一块硬盘的平均无故障运行时间为 70 万小时计算，160块硬盘的平均无故障运行时间就是 4375 小时；一年是 8760 个小时，所以这个系统可能会保持每年两块硬盘的更换率
7、。如果再考虑增加摄像头、备份、容错等业务需求，这个系统的硬盘使用量还会更多，甚至翻倍；如果需要提高图像的清晰度，那么系统的硬盘使用量还会增加。大数据图像的安全、有效的存储，既是系统运行的必要条件，也是系统运行生命周期的整个过程中，有效使用设备和资金的保障。监控系统的建设者和设计者，应该在设计的初始阶段引入对建设和运行情况统一考虑的设计规划环节一一在系统尚在“孕育”中的时候，就引入对其后续使用问题的考虑，从而获得对系统投运后在一般情况下设备设施使用和运行的整体成本的预判，是前瞻性考虑的具体体现。如果只考虑建设，不考虑使用和运行成本的设计，就容易在系统投运后遭遇被动局面，吃到短视规划的恶果在系统有
8、效生命周期的后段，出现运行投入大于前期投资的情况；被迫在设备未到生命运行的结束周期时就予以淘汰，这种局面的不断涌现是与前期的设计和选型脱不开关系的。 目前大数据视频图像的存储，以选择磁盘阵列存储最为恰当，存储类型可根据服务器类型分为封闭系统的存储和开放系统的存储两类。封闭系统主要指大型机，开放系统指基于 windows. UNIX. Linux 等操作系统的服务器。开放系统的存储分为内置存储和外挂存储两类，其中外挂存储可根据连接的方式分为 DAS 和网络化存储，网络化存储又可根据传输协议分为 NAS 和 SAN。由于目前绝大部分监控用户采用的是开放系统，而开放系统的外挂存储在目前的磁盘存储市场
9、上占据着 70%以上的市场份额；因此本文主要针对开放系统的外挂存储进行论述说明。 (1)开放系统的直连式存储己经有多年的使用历史。在用户需求不断增长，而数据量达到数百 GB 以上后，存储和备份等方面的问题日益显现的背景下，DAS 正面临挑战。DAS 与服务器主机之间的连接通道通常采用SCS 工连接，而这种连接的最高带宽只能达到 640Mbps；此外 SCSI 接口连接外置设备时，其连接电缆的长度也十分有限。随着服务器 CPU 的处理能力越来越强、存储硬盘空间越来越大、阵列的硬盘数量越来越多，SCSI 连接通道一定会成为 DAS 发展的制约因素。 (2)区域网络存储采用光纤通道技术，存储阵列和服
10、务器主机通过光纤通道交换机连接，建立起专用于数据存储的区域网络。从 SAN 多年的发展来看，目前 SAN 己经相当成熟。SAN 存储的传输带宽目前己经达到2Gbps，这种水平的传输与磁盘阵列存储相结合的解决方式，必将成为大数据、可扩充系统的主流应用。 (3)网络接入存储采用网络技术，存储系统和服务器主机通过网络交换机连接，建立起专用于数据存储的存储专业网。NAS 作为文件服务器存储，性能受带宽影响；在快速以太网出现后，读写性能得到改善。随着F 网络技术的发展，NAS 技术得到了质的飞跃。 在选择使用磁盘阵列时，以选择性能价格比较高，且技术和设计都比较先进的通用型设备为上策。主轴转速是决定硬盘内
11、部传输速度和持续传输速度的第一要素，是硬盘的所有指标中除了容量之外最应该加以注意的性能参数。当前硬盘的转速多为 5400RPM、7200RPM、10000RPM 和15000RPM。从目前的情况来看，7200RPM 及以下级别的硬盘正在逐步淡出市场。据了解，己经有一些通用厂商的磁盘阵列系统具备了休眠运行的功能不再像传统硬盘一样，只要系统开通运行就全部开始高速运转，一直运行到完全损毁为止；而是在数据存满后就自动转入到休眠状态，即旋转电机并不高速运转，硬盘始终保持在预备状态下运行。硬盘进入休眠后，可以在系统需要时及时响应、高速运转，待系统使用完毕后再度转入到休眠状态。这一功能对降低温升、提高保障程
12、度、降低故障率、延长硬盘的寿命、节约运行成本、延长整个系统的生命周期都极为有利。此外，无论直连式存储还是服务器主机的扩展存储，进行从一台服务器向多台服务器组成的群集的扩展，或存储阵列容量的扩展时，都会造成业务系统的停机。如果视频系统的磁盘阵列有转移存储功能，就可以避免这项损失。 结束语： 监控系统必须根据具体的实际情况配置和选择合理的设备，以便达到系统的工作稳定可靠，设备档次较高，扩展功能强，且又能满足系统的实际要求。视频图像的采集、传输和存储在监控系统当中起的作用就非常重要。 参考文献： 1刘震.视频监控系统的搭建与应用A.天津市电视技术研究会2010 年年会论文集C, 2010 . 2蒋长坡. ISCSI 存储在电信数据备份的优势J.通讯世界,2008(3):66-67. 3钟志.基于异常行为辨识的智能监控技术研究D.上海：上海交通大学，2008.
