1、中国民航信息网络股份有限公司数据仓库系统容量规划与扩容建议书Teradata（中国）有限公司2008 年 11 月本文档及其所含信息为机密材料并且由中国民航信息网络股份有限公司和 Teradata（中国）有限公司共同拥有。本文档中的任何部分未经中国民航信息网络股份有限公司和 Teradata（中国）有限公司书面授权，不得将材料泄露给第三方,也不得以任何手段、任何形式进行复制与传播Copyright 2008 Teradata 版权保留所有的权利文档信息客户姓名: 中国民航信息网络股份有限公司项目: 数据服务系统文档： 数据服务系统容量规划与扩容建议书版本：发布日期: 2008 年 11 月编者
2、: 姓名 公司 项目职称 日期批准: 姓名 公司 项目职称 日期本文件属保密资料 i 未经中国民航信息网络股份有限公司和 Teradata(中国) 有限公司的书面许可，不得翻印或外传目 录1 中航信数据服务系统目前状况 .11.1 数据服务产品、用户及使用 .11.2 系统存在的问题 .11.2.1 系统容量问题 .11.2.2 系统性能问题 .12 TERADATA 数据服务系统解决方案建议 .12.1 目前系统现况 .12.2 生产系统扩容方案 .12.2.1 5500C 扩容方案 .12.2.2 5550H 扩容方案 .12.3 生产系统扩容方案总结 .12.4 测试系统建议方案 .12
3、.4.1 生产系统采用 5500C 时 .12.4.2 生产系统采用 5550H 时 .12.5 ETL 服务器及备份服务器 .13 对中航信关心问题的回答 .13.1 就中航信目前系统，所能增加的系统节点的型号是什么，主要配置情况？所能增加的磁盘阵列的型号是什么，主要配置情况？ .13.2 系统扩容后，每个节点能够挂多大的存储（裸容量）？ .13.3 磁盘阵列中为什么不推荐选用单盘容量更大的磁盘（如：146G/块） ，而选用单盘容量较小的磁盘（73G/块）？ .13.4 从客户方角度考虑，RAID1 和 RAID5 两种方式有什么本质区别？请从性能表现、投资等诸多方面综合比较。基于 TRAV
4、ELSKY 这个量级的数据规模，业界是否有已实施的案例，他们选择的是哪种数据保护方式？ .13.5 为什么需要新增磁带库，而不对旧磁带库进行扩容？ 旧磁带库能否通过备份服务器与扩容后的新节点相连？ .1本文件属保密资料 ii 未经中国民航信息网络股份有限公司和 Teradata(中国) 有限公司的书面许可，不得翻印或外传3.6 生产系统未来扩展性如何？ .13.7 系统扩容过程中，哪部分工作耗时最长，哪部分工作风险最大？ .13.7.1 对于方案 1 .13.7.2 对于方案 2 .14 扩容后系统及应用建设规划 .14.1 规划系统数据架构，优化系统性能 .14.2 丰富 BI 工具，优化应
5、用服务模式 .14.2.1 IT 架构中固定报表服务架构的实现 .14.2.2 IT 架构中灵活报表服务架构的实现 .14.2.3 IT 架构中 OLAP 服务架构的实现 .14.2.4 IT 架构中通过分析团队提供特殊化服务的实现 .14.3 加强与用户的合作，丰富服务的内容 .14.4 基于 SLA 的 IT 服务管理 .1本文件属保密资料 3 未经中国民航信息网络股份有限公司和 Teradata(中国) 有限公司的书面许可，不得翻印或外传1 中航信数据服务系统目前状况中航信数据服务系统于 2001 年 2 月开始建设，并于 2005 年进行二次扩容，目前中央数据库系统采用双节点的 TER
6、ADATA 4850 及四节点 TERADATA 5380 海量并行处理主机系统和 Teradata 数据库系统。总的磁盘容量为11056GB，其中包括 80 块 36GB 和 112 块 73GB 硬盘。按照现有生产系统Teradata 版本的空间计算方法，考虑到 RAID1 保护、操作系统附加信息存储因素，数据库最大存储数据空间为 (80*36+112*73)/2/1.093=5058GB，考虑Spool 工作空间因素（数据库执行 SQL 命令时要占用数据库空间做运算） ，数据库最大可以容纳业务数据 5058/1.45=3.5TB 左右。中航信数据服务系统自 2001 年 2 月开始建设以
7、来，已经过 7 年多时间，并已经进行了两个项目周期的建设（2001 年 2 月 2001 年 7 月，2003 年 1月2004 年 1 月） 。1.1 数据服务产品、用户及使用中航信目前已在数据服务系统上开发和上线了以下数据服务产品。航线舱位分析航线订座成长和趋势分析机型分析航线运营分析代码共享航线分析代理人销售实际贡献分析代理人销售订座分析代理人销售分析代理人销售款分析国际 O 订座 PNR 数据 订座航班时刻与收益数据 票务数据 离港数据 常旅客数据 航意险数据 OAG 数据 MCT 数据 运价数据 酒店数据 设备信息数据 其他相关静态信息数据按照中航信最新统计数据估算，系统 2008
8、年的基础数据量达到 4.7TB，如下表：A. 每年基础数据 存储周期应用数据总量（截至2008 年底）应用数据总量（截至2009 年底）应用数据总量（截至2010 年底）2007 年 2008 年 2009 年 2010 年数据内容 (GB/年) (GB/年) (GB/年) (GB/年)(月) （GB） （GB） （GB）PNR 1100 1500 2047 2792 13 1592 2172 2963 DCS 140 183 240 314 36 407 563 737 TKT 430 572 762 1014 13 608 810 1078 INV 800 1056 1394 1840 1
9、3 1123 1482 1956 小计 2470 3312 4443 5960 3730 5027 6734 B. 汇总数据 存储周期应用数据总量（截至2008 年底）应用数据总量（截至2009 年底）应用数据总量（截至2010 年底）2007 年 2008 年 2009 年 2010 年数据内容 (GB/年) (GB/年) (GB/年) (GB/年) (月) （GB） （GB） （GB）sum(d) 540 727 978 1316 36 1747 2354 3021 sum(m) 90 124 171 237 60 416 532 702 本文件属保密资料 6 未经中国民航信息网络股份有限
10、公司和 Teradata(中国) 有限公司的书面许可，不得翻印或外传bidt 300 438 640 935 37 955 1395 2038 midt 70 98 137 192 24 168 235 329 小计 1000 1387 1926 2680 3286 4516 6090 另外，各航空公司等用户需要的数据，随着系统数据量增加，加工的时间越来越长，为保证数据提供的速度，系统中 PNR 只保存不到 2 个月的数据，这反过来又影响了统计分析类数据服务，影响了系统价值的发挥。通常一些非常有价值的分析往往需要较长时间的历史数据。例如，订票趋势分析可使航空公司通过对比过去几年与今年的 KPI
11、 数据（旅客量、收入、费用及利润等）, 获得对航班、航线或市场的了解。该应用可使航空公司从一个航班开始预定到该航班启航为止的期间内进行全程跟踪，可以使航空公司认识到自己在市场中的强势和弱势并尽早地做出相应的改善。该应用可以让航空公司在任何时间点，根据航班当前与历史状况的比较而对航班的需求作预测。利用这些结果，航空公司能够以现在所拥有的订票与任何其他时间点所拥有的订票相比较。通过对需求的动态跟踪，航空公司就能对其航班及时采取适当措施而获得最大收益。这使得高级的销售战略与战术更快改变着产品、进度与分销渠道。如果基础数据不充分，则该应用的效益就无法体现！1.2.2 系统性能问题目前每天系统资源，大部
12、分都用于对外提供数据的数据服务： 每天加载的数据量，已从最初的 2GB（2003 年 10 月数据服务系统二本文件属保密资料 7 未经中国民航信息网络股份有限公司和 Teradata(中国) 有限公司的书面许可，不得翻印或外传期工程数据加载开始）增加到目前的 11GB，其中 PNR 数据 4GB，其它数据 7GB； 数据加载、数据汇总到生成各个航空公司所需的数据提供出去，常常从晚上 20:30 开始，至第二天下午才能结束。用户意见很大，已经引起用户对中航信服务质量的担心； 除数据加工外，每天白天上班时间：通过 Portal 向用户提供报表。象“BSP 直通车 ”之类的应用还允许用户通过 Por
13、tal 之间访问 Teradata 数据库，提取数据； 目前系统全天基本没有空闲时间；中航信系统运行部对这些问题有较为详细的报告，请参阅系统运行部的报告。本文件属保密资料 8 未经中国民航信息网络股份有限公司和 Teradata(中国) 有限公司的书面许可，不得翻印或外传2 Teradata 数据服务系统解决方案建议鉴于中航信数据服务系统目前存在着较为严重的系统容量问题和系统性能问题，可能危及到中航信的安全生产。Teradata 在此提出以下解决方案，以帮助中航信尽快解决这两个问题，以免因系统容量和性能问题给中航信造成不必要的损失。2.1 目前系统现况中航信目前的数据服务系统示意图及其系统配置
14、如下： 2 节点 TERADATA 5255（由原来的 2 节点 4850 升级而来）及 4 节点TERADATA 5380 海量并行处理主机系统。具体的配置如下表所示：节点 2 节点 5255 4 节点 5380每节点配置4 个 700MHz CPU；4GB 内存；4*18GB 内置硬盘2 个 3.06GHz CPU；4GB 内存；2*36GB 内置硬盘磁盘阵列2*6288-1440（ 共 80*36GHD）2*6841（共 112*73GHD）备份系统 6463（80Slots，6*LTO2 SCSI）数据库软件 Teradata V2R5.1/TTU7.1系统 TPerf 值 41.7（估算）系统总容量 11,056GB（磁盘容量）
