1、浅析软件定义存储在油气行业的应用摘 要 为解决油气行业应用高性能计算及大规模数据分析导致的传统存储系统性能瓶颈，在介绍软件定义存储的含义及特点的基础上，从油气公司物联网、ERP 应用集成、云、大数据的建设以及业务发展的角度对存储的现状及软件定义存储的需求进行了分析，并对软件定义存储在油气行业的应用模式进行了探讨并给出相关建议。 下载 关键词 油气行业；软件定义存储；闪存；IOPS；存储虚拟化 doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2016. 11. 103 中图分类号 TP309.3 文献标识码 A 文章编号 1673 - 0194（2016）1
2、1- 0172- 03 0 引 言 云计算、大数据、内存计算、移动互联等技术的发展改变了应用程序的交付方式，大大提高了系统的计算性能，使得用户对 OLTP、OLAP 功能的需求以及对系统 IOPS 的要求不断提高，为传统的存储技术带来了挑战。自 20世纪 80 年代以来 CPU 和基于硬盘的存储系统在性能上的差距以指数级逐年提高。为满足应用程序对高 I/O 性能的需要，IT 专业人员通过使用高速缓存、磁盘阵列方案和智能固件等方法来弥补这一差距，但传统硬盘（HDD）存储系统仍难以满足现代应用程序的要求。尤其在油气行业，高密度采集已经成为油气勘探整个趋势，地质勘探已经进入了大数据时代，勘探公司的在
3、线地震数据达到 PB 级，高性能计算 HPC 集群在地震解释方面的应用更凸显了底层存储的性能缺陷。“十二五”期间油气公司物联网、移动应用以及 ERP 应用集成建设持续推进将产生海量数据，同时云的建设极大提高IT 资源灵活部署能力和数据计算能力，对底层存储架构的高效性、可扩展性及智能性提出更高的要求。 软件定义存储为基于容量的存储提供了虚拟化和自动化，对内部磁盘、闪存系统和外部存储系统等来自不同地点的物理存储容量进行联邦式管理，通过全面的企业级功能支持高性能和数据密集型工作负载，结合闪存的高I/O 性能以及硬盘智能分层技术能够大大提高系统性能。油气公司开始通过部署软件定义存储来解决数据量激增和存
4、储架构灵活性的问题。 1 软件定义存储概述 1.1 软件定义存储含义 数据中心存储架构从最初的为满足关键系统的性能与容量需求的竖井式存储架构，发展到以虚拟化架构来整合数据中心的存储资源，提供按需的存储服务和自动化运维，并进一步向存储系统的智能化、敏捷化演进。近年来，软件定义网络、软件定义数据中心等新技术革新了基础设施架构，同样软件定义的理念被引入到存储领域，软件定义存储架构是存储虚拟化后的进一步发展。 软件定义存储（Software Defined Storage，SDS）基于存储的虚拟化，将存储应用程序移出每个阵列控制器并移进存储虚拟机管理程序或者存储虚拟化服务器，实现各种存储资源的软件定义
5、，以服务的形式提供给应用，满足应用按需自动化使用存储的需求。从软件定义存储的含义可以看出，其以存储虚拟化为基础向存储智能化有了进一步的发展。存储虚拟化一般只能在专门的硬件设备上使用，很多量身定做的设备才能进行存储虚拟化，而软件定义存储则没有设备限制。软件定义的存储是现有操作系统和管理软件的结合，能够完整地实现用户对存储系统的部署、管理、监控、调整等多个要求，为存储系统带来灵活、自由和高可用等特点。其优点主要包括：形成存储资源池，采用低成本的商用存储硬件，降低采购成本；可线性扩展的容量和性能，应用闪存技术最高可达数百万 IOPS；弹性基础架构，高可用和安全性，通过跨服务器的数据冗余机制，保障了多
6、台服务器同时故障的情况下，数据仍然可读写、不丢失；具有高度自动化，易于配置和管理，提供基于服务的基础设施分配，按不同应用特征优化工作负载和存储资源。 1.2 软件定义存储相关产品 软件定义存储产品的厂商排名里既有传统的硬件供应商，如EMC、IBM、HP 等，也有新兴的初创公司，如 Nexenta、Tintri、Solidfire等。以软件定义存储技术为代表的新一代存储革新需求一方面让老牌企业正在走出技术锁定的老路，另一方面也使新兴企业凭借开放的创新切入新需求市场。 由于不像软件定义网络那样较早地建立起了业界标准，当前各厂商在软件定义存储上的技术发展表现各异。供应商的软件定义存储技术实现可以归纳
7、为数据保持、数据服务和数据消费三层。数据保持层是指存储媒介对数据存储方法的优化，如 RAID、纠删码等；数据服务层是指存储媒介对数据活动的优化，如重删、备份、压缩、加密等；数据消费层是指数据的访问接口，如块存储、文件存储、对象存储、Hadoop 系统等。 软件定义存储要求数据控制与管理的解耦表现为这三层服务的独立，技术实现不存在相互依赖关系。由于经过了虚拟化和抽象，数据服务得以从物理存储设备中分离出来，可以按需动态创建，具有很大的灵活性。同时创建的数据服务可以根据软件定义存储控制器统一调度，运行在任何一个合适的服务器或存储设备上。 2 油气行业存储现状及需求分析 油气行业的海量数据不只存在于勘
8、探领域，随着业务的发展以及信息系统的深化应用，炼油与化工、销售、天然气与管道等领域的数据量也在指数级增长。油气行业的信息系统多采用 SAN 存储架构，少数采用 NAS 存储架构，存储设备多为磁盘阵列和磁带库。随着业务的发展，传统的 FC SAN存储数量多、组网复杂、成本高、存储功能单一等弊端逐渐显现。一方面，采购的国外供应商产品经常出现非标准机柜需要改造数据中心或 FC 网络的问题，且高端存储采购周期较长，维护周期较长。其次还存在部分高端存储系统横向扩展能力差，支持新业务的灵活度差，在业务量激增的大环境下存储容量和性能的提升时间慢且花费昂贵等问题。 2.1 物联网、ERP 应用集成建设的需求
9、物联网项目在油气公司各业务领域正在有序开展稳步推进，建立起包括感知层、传输层和数据管理平台层的总体架构，部署了 RFID 等物联设备，实现现场生产数据的自动采集、生产运行的实时监控。物联网系统通过传感器、视频、移动终端、电子标签等数据采集工具实时采集设备状态、生产运行、人员、安全、监控、物流和销售等数据，通过有线和无线的方式传输到数据管理平台，为各业务领域的相关系统应用提供数据。ERP 应用集成系统构建了统一、稳定、可靠的数据共享平台，将各业务板块分散的信息系统数据汇聚在一起，形成了体积庞大的生产经营数据集合。物联网和 ERP 应用集成项目的建设导致企业数据以前所未有的速度迅猛增长，数据的存放
10、、管理、优化、利用成为难题，传统的存储架构在灵活可扩展和自动化程度方面难以满足实际需求。2.2 建设云的需求 石油企业的云平台也在不断完善提升，已经形成全局性云管理平台和共享式资源池，同时构建互为备份的“两地三中心”体系，能够满足各业务系统对大量计算资源以及应用灵活部署的需求。在云环境中 IT 资源以服务的形式提供，要求存储架构具备足够的灵活性和可扩展性以应对动态变化的随机环境，在不显著增加数据中心占地面积的前提下满足日益增长的存储架构需求，同时应具备提供随需变化的服务等级、精确控制、快速部署和调整存储资源的能力。 2.3 部署大数据的需求 为了应对物联网系统产生的海量传感数据、各业务系统积累
11、的巨量生产经营历史数据，油气行业将在“十三五”期间部署大数据项目，挖掘数据中的隐性知识、潜在规律以及背后的商业机会。但是大数据也对现有的基础设施，对各种资源包括计算、存储和网络都提出了更高的需求，特别是数据存储需要变得更为灵活、富有弹性，能够适应大数据分析对 I/O 的动态需求。 2.4 业务发展的需求 由于近年业务规模发展迅猛，油气公司每年均需要购置大量的存储空间以存放地震及其他生产数据。由于原始数据量大、计算密集，运算过程又产生更多“中间数据”，因此需要高吞吐、高可靠、高扩展能力的海量并行存储系统以及高性能计算 HPC 集群系统。为提高 HPC 计算集群系统的 CPU利用率，企业加大应用作
12、业密度，因此在作业处理高峰时段，出现了数据读写较为缓慢、处理系统效率降低的现象，并为数据中心节能降耗增加压力。 3 软件定义存储在油气行业的应用模式 软件定义存储的解决方案一般为包括软件和硬件两部分，其中软件为分布式文件系统，对外提供统一的、标准的存储服务。存储硬件系统主要由大容量、低成本的存储阵列与闪存阵列组成。方案将元数据与生产数据分离，全闪存阵列承担关键业务负载，存放元数据，海量的生产数据或者冷数据则存储在磁盘阵列上。软件定义存储系统所有组件都是松耦合的关系，交换、存储等不同模块可以自由组合，提高存储架构的伸缩性。解决方案以软件形式实现并发存储访问、数据的分层以及数据在不同层级间的迁移，
13、具备灵活的配置和功能调整能力，实现针对客户的具体需求进行调整和优化。软件定义存储在油气行业的应用可以包括以下几点。 3.1 推动存储虚拟化向软件定义存储转变 云技术平台以及灾难恢复系统均采用基于存储设备的虚拟化技术构建了存储虚拟化资源池。而实现存储资源的有效共享，降低使用成本，进一步提升存储系统的智能化，实现存储容量、性能、QoS（服务质量，Quality of Service）等服务的按需供给，则需要应用软件定义存储技术对存储资源进行全面管理。通过软件定义存储简化网络和硬件的复杂度，降低采购和维护成本，通过分布式存储实现成本更低的安全容灾。 3.2 利用闪存推动存储智能分层，提升系统性能 依
14、据企业业务现状，运用存储智能分层技术设置分层策略，构造高效的存储系统。在存储 Tier1 层应用闪存，负责核心业务数据存储；Tier2 层为普通存储介质，负责日常数据或者冷数据存储。首先将热数据写入 Tier1层，然后等待数据稍冷数据会被迁移到 Tier2 层。通过智能分层和闪存技术实现多种存储设备的优化应用，提升信息系统性能，降低硬件成本。 3.3 将闪存利用作为数据中心降低能耗的途径之一 油气公司在全球拥有数十个数据中心，每年为全球各地的数据中心支付电费数额已十分惊人，数据中心的节能降耗成为信息化治理的重要工作。闪存除了具有高效的读写性能，而且不像磁盘那样转动，不会产生摩擦，本身就比较节能
15、。闪存没有机械部件，可以成倍地传送数据，节约了机架磁盘，数据中心可节省更多的空间可用于 CPU 数据处理。利用闪存提高数据存储效率，缩短服务器运行时间，促进数据中心降低能耗。 4 结 语 软件定义存储将各种存储资源以服务的形式提供给应用，实现对存储系统的部署、管理、监控、调整，为油气行业夯实 IaaS 建设、推进 PaaS 建设并实现灵活的 SaaS 部署，支持上层各业务领域的商务智能、深度分析以及上下游产业链整体优化提供了支撑。油气行业应基于存储虚拟化资源池向软件定义存储转变，进一步提升存储系统的灵活性和智能化水平。将软件定义存储的部署纳入云管理平台进行统一规划、统一设计，制定软硬件技术标准、接口标准，实现集团级、区域级与地区公司级数据中心存储资源的共享及全局范围的资源优化配置。 主要参考文献 陆游游，舒继武.闪存存储系统综述J.计算机研究与发展， 2013， 50（1）：49-59. 詹明非.软件定义存储技术及其应用研究J.电信技术， 2014（12）：30-32. 毛健彪，韩彪，孙志刚，等.支持高效管理的软件定义 DCN 控制架构J.北京邮电大学学报， 2015， 38 （5）：109-112，117. 孙振正，龚靖，段勇，等.面向下一代数据中心的软件定义存储技术研究J.电信科学，2014， 30（1）：39-43.
