1、数据中心的建设与管理摘要:数据中心是建立在大数据的基础上,对大量的生产数据进行分类采集、分析、应用,对数据的存储模型、安全管理、信息管理、数据的实施应用等提出了一些自己的想法,通过数据中心的建设,提高油田生产的工作效率。 关键词:数据资源;数据管理 一、数据资源建设与管理的现状 滨南采油厂自建设开发以来,形成了大量的油田开发生产数据。经过多年的建设,相继建立了采油工程数据库,生产运行管理数据库,成本管理数据库、地面工程数据库等等。在 2004 年,建立了采油厂数据中心,在此基础上,相继建成了几个应用系统,为油田进行精细地质研究、科研项目开发、生产管理、开发及措施方案制定等多个领域提供了大量的行
2、之有效的信息服务和实时、可靠的数据保障。 1、数据资源的建设的概况及存在的问题 随着近几年网络、硬件等条件的不断改善,特别是源点数据采集系统在我厂的广泛推广和应用,以地质、采油、监测、作业、化验、集输和其它数据发生单位为数据采集点,通过网络实现了数据信息的运算、传输和汇总。已建立起以厂服务器为中心的数据库集中存储。 2、解决途径: 依据油田开发生产的需求,建立数据中心数据存储模型。应用网络及 Oracle 数据库安全技术,制定切实可行的数据库安全、存储、备份机制,确保各类数据的安全、备份和应用。在数据存储中心的平台上,开发数据库管理平台辅助工具,包括:数据库用户授权、数据上网情况监控、数据资源
3、概况检查、数据质量检查分析及通用数据查询等。 二、数据管理方案 数据库存储模型-数据银行采用数据银行技术,实现油田开发各专业生产、管理领域间的数据共享。其特点为:.数据银行按照统一的数据模型存放多学科数据。包括:开发地质、油藏工程、采油工程、生产运营、地面工程和管理决策等领域。.进入到数据银行的数据必须确保其完整性和正确性。.采用多种存储介质,存储容量大。.具有可视化的数据查询和检索系统。.可以方便地为各类应用系统的综合应用数据库提供数据交换服务。 数据库安全管理-针对油田开发生产数据库,安全主要考虑两点,第一,数据库可以正常运行,合法用户能够获取他权限范围内的信息,第二,油田开发数据信息是油
4、田公司及各个采油厂的宝贵资产,要保证其不被非法盗取或破坏。从 Oracle 技术角度来讲,可以使用用户身份认证、用户权限控制、审计以及备份与恢复技术使数据库的安全得到保障。 数据库用户管理-数据库用户是访问 Oracle 数据库信息的途径,为防止来自用户无意和恶意的破坏,针对不同用途限定其访问数据库、数据表以及数据字段的权限是保证数据质量及数据安全的有利手段。 访问权限管理-有效控制赋予用户的权限,是控制信息被盗取的主要途径。除了允许连接数据库(允许登录)的权限以外,不赋予用户任何其他的系统权限,并且只提供其申请的合法数据的只读权。为了保证数据库的安全,制定数据库网上用户权限申请。若某单位需要
5、对数据库进行维护操作时,则该单位必须根据生产的实际情况向信息中心提出网上申请,由信息中心主管领导在网上进行审批。各单位在提出申请时,要详细说明申请该用户的原因,所要申请的用户名及口令,该用户需要对数据库中的那些表进行那些操作以及提出申请的申报人。 数据库安全存储备份-数据管理的关键是存储管理,数据库安全存储是数据库共享应用的基础。数据库热备份必须解决三个问题,一是主从数据库的数据必须是同步的。二是在主服务器发生故障时,从服务器自动切换提供服务。三是从服务器的自动恢复技术。数据的冷备份是应急措施,数据冷备份的第一个重要作用是提供数据的可回归性,第二个作用是主、从数据库服务器同时故障(网络故障、系
6、统故障、硬件故障) ,当然这种情况非常少见,是为了以防万一,是热备份的补充。由于数据的原始数据备份需要占用一定的系统资源,利用计算机的计划任务功能定时(在系统运行相对空闲时间)启动备份进程,每天检查运行情况,为了保证备份数据的完整,采取了日、周、月、年备份方式。为了确保数据备份的有效性,采取月、旬、半年时间对厂服务器中的所有数据进行其它介质备份。审计 审计是数据库系统对用户活动的追踪活动,它不是一个预防措施,只是用于分析。目前 Oracle 对用户活动的审计只能记录数据库访问者作过某种操作,如修改、删除等,但不能记录修改前后的值,用数据库触发器可以完成这种功能,审计的力度可以根据数据的重要程度
7、来确定。 对于数据库管理员可以按照不同的检索方式来查询数据库访问情况。如,可以查询某个人(按用户名)某天对某个数据库进行了什么操作,这样对数据库信息的操作数据库管理员将会了如指掌。 三、数据库信息管理 1、 上网数据监控: 检查数据更新维护是否及时,开发数据监控系统。根据油田开发生产数据的更新频率,结合厂数据库建设工作安排所确定的各数据表的维护周期来定制监控系统的触发时间(存于数据字典中) ,对所有上网的开发生产数据自动进行数据及时性监控。 2、检查数据量变化情况 油田开发生产是一个连续不间断的过程,每天都在产生大量的生产数据并通过网络传输进入到数据中心主服务器中,因此,及时掌握每日数据量的增
8、长变化情况,对于数据库管理和维护极为重要 3、数据质量检查 在油田开发数据库网上共享应用的实际过程中,突出的问题就是开发数据库数据质量问题。数据质量控制是数据库建设管理的重要组成部分,并贯穿于数据流动的每一个环节,因此采用符合企业、公司专业信息标准的算法对数据质量进行校验,由人工定期对油田开发数据库质量进行检查的模式,变为计算机实时、高效的自动校验、纠错方式, 包括:逻辑判断、数据统计算法判断、值域判断等,并且将检查结果按责任单位、错误类别打印输出,同时提供网上数据修改功能。 4、数据完整性检查 油田的各个生产环节是相互关联,环环相扣。软件实现的完整性检查功能就基于此基础上,通过寻找并建立各业
9、务流之间的关系表,对入库数据进行完整性检查,确保源点数据采集的完整性。比如:一口新井已投产,那么,系统会根据这一信息对该井要发生的各种源点信息:钻井信息表,录井信息表,作业信息表,地质信息表,化验信息表及该井的静态参数(抽油机,泵,采油数档案等)数据表进行检查,检查所有关于新井需要录入的数据表是否录入该井的资料,并将结果及时反馈给用户。 四、数据库实施应用 数据库信息的管理与应用是密不可分的,好的管理目的是为了应用,反之,数据库信息没有被很好充分利用,优秀的管理失去价值,归根结底,应用才是目的。 随着数据中心的建立,信息应用由以前的小规模应用向大的决策型转变,由零散的某一方面的应用向系统专业型
10、转变。数据中心运行以来,实现数据共享,根据不同专业开展不同的应用,主要包括:勘探开发一体化应用,油藏数据应用,采油工程数据应用,地面数据应用,实时数据应用,生产经营数据应用,成果数据应用,生产调度综合应用等大型应用系统。通过对数据的分析、判断,共产生经济效益 1200 万元.保证了各专业人员能够充分共享现有数据资源,有效地提高工作效率。 参考文献 1(美)Kevin Loney Marlene Theriault 等著 蒋蕊 王磊 王毳等译 Oracle9iDBA 手册 2005 2(美)Ryan K.Stephens Ronald R.plew 著 郑利强 张立红 肖文蕾 等译轻松掌握:SQL(第三版)2000