1、毕业设计文献综述 计算机科学与技术 联机分析处理在商业智能中的研究与应用 一、前言部分 1 写作目的 随着信息化建设的不断发展，越来越多的企业或政府单位同时运行着不止一个的业务系统，“信息孤岛” 1不断加剧。 联机事务处理 （ OLTP） 已不能满足终端用户对数据库查询分析的需要， SQL对大数据库进行的简单查询也不能满足用户分析的需求，用户的决策 分析 需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求，所以联机分析处理（ OLAP）显得越发重要。 2 2 有关概念、综述范围 商业智能 （ BI） 3， 通常被理解为将企业中现有的数据转化为知识，帮助企业做出 准
2、确的业务经营决策的工具。这里的数据包括来自企业业务系统的订单、库存、交易账目、客户和供应商等 ，和 所处行业和竞争对手的数据 ， 以及来自企业处的其他外部环境中的各种数据。而商业智能能够辅助的业务经营决策，既可以是操作层的，也可以是战术层和战略层的决策。为了将数据转化为知识，需要利用数据仓库、联机分析处理工具和数据挖掘等技术。 4 数据仓库（ DW）， 是决策支持系统 （ DSS） 5和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信 息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性 。 6 联机分析处理（ OLAP） 7，这 概念最早是由关系数据库之父 E.
3、F.Codd于 1993年 提出的，他认为联机事务处理 OLTP 己不能满足终端用户对数据库查询分析的需要，因此他提出了多维数据库和多维分析的概念，即 OLAP的概念。 数据挖掘（ DM） 8，是 一种透过数理模式来分析企业内储存的大量资料，以找出不同的客户或市场划分，分析出消费者喜好和行为的方法。 3 有关争论焦点 OLTP和 OLAP的不同 主要有以下五点： 1) 用户和系统的面向性 ： OLTP是 面向顾客的 ， 用于事务和查询处理 ； OLAP是面向市场的 ， 用于数据分析 。 2) 数据内容 ： OLTP系统管理当前数据 ； OLAP系统管理大量历史数据 ， 提供汇总和聚集机制 。
4、3) 数据库设计 ： OLTP 采用实体 -联系 (E-R)模型和面向应用的数据库设计 ； OLAP 采用星型或雪花模型和面向主题的数据库设计 。 4) 视图 ： OLTP 主要关注一个企业或部门内部的当前数据 ， 不涉及历史数据或不同组织的数据 ；OLAP则相反 。 5) 访问模式 ： OLTP 系统的访问主要由短的原子事务 (动作的不可再分 )组成 ， 这种系统需要并行和恢复机制 ； OLAP系统的访问大部 分是只读操作 。 OLTP 是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易 ； OLAP 是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提
5、供直观易懂的查询结果。 9 二、主题部分 1. 历史背景 商业智能的产生背景 ： 1) 企业的 “ 数据监狱 ” (Data Jail)现象 商务活动从办公自动化出现的早期开始就在其运作过程中收集大量的数据，包括销售、成本、质量控制、库存、客户服务等各方面息息相关的企业数据，分别存储于数据库、数据集市、数据仓库、多维数据库、第三方的应用或其 它文件中。因此对大部分企业来说数据处理的问题不是数据缺乏，而是大量的数据冗余和数据不一致。庞大的数据量和传统数据管理方法的缺陷，使大部分企业出现了数据拥挤 (数据监狱 )现象，既不利于企业的管理也不利于信息的有效利用。因此，如何解决数据拥挤，同时 又 能使
6、这些数据充分地发挥作用这已成为企业商务发展的一个热点问题。 10 2) 数据 =资产新企业观念的建立 在企业界，数据 =资产的观念正在进入企业的资源规划 (ERP)系统中，而把数据转换为资产的方法和技术也正在成为企业投资 IT 的热点。因为目前大部分大中规模的企业都是信 息丰富的组织，而一个信息丰富的组织的绩效不仅仅依赖于产品、服务或地点等因素，而更重要的是依赖知识 ， 而 “ 数据 信息 知识 ” 是一个并不简单的过程。商业智能的本质正是把数据转化为知识，致力于知识发现和挖掘，使企业的数据资产能带来明显的经济效益，减少不确定性因素的影响，使企业取得新的竞争优势。 11 3) 企业运营模式的变
7、化 电子商务正在改变着全球商务活动的方式，信息在经济活动中越来越占据着重要的地位。对企业来说信息包括生产、销售、市场、顾客和竞争对手的信息，信息是企业竞争的战略性资源。建立在 Internet 之 上的企业经营模式电子商务：电子邮件、电子数据交换、电子支付系统、电子营销等技术的发展和应用 ， 为商业智能系统提供了市场和生存环境。 4) 数据库和人工智能技术的发展 商业智能的发展也得益于相关技术的发展 ： 并行处理系统、廉价数据存储、新数据挖掘算法、神经网络技术、人工智能技术、决策支持技术、从大量数据中发现其后潜藏的商业机会等等，使企业能以更低的成本投资商业智能，并取得更高的 IT投资回报率。
8、12 我国商业智能技术 13的研究是随着商业智能的应用不断发展而发展起来的，自从 1997 年商业智能开始在银行、电 信等大型企业实施以来，到 2000年我国开始出现专门的 BI研究机构，在此之前只是局限于科研院校的基础理论研究，最早以商业模式从事技术研究的应该属2000 年中旬成立的上海德门公司（ 里王公司是在 2001年底 ），到 2005年随着市场的扩展，这个队伍才逐渐壮大起来。 商业智能里数据分析的方法很多，时下最时兴的是 OLAP。利用这种方法，可以从不同角度和维度抽取并观察数据。比如，分析销售可以从产品、地域、时间等三个维度产生视图。根据 OLAP 产品的实际应用情况和用户对 OL
9、AP 产品的需求，人们提出了一种对 OLAP更简单明确 的定义，即共享多维信息的快速分析， OLAP主要有以下一些特点： 快速性 。 用户对 OLAP的快速反应能力有很高的要求，系统应能在 5秒内对用户的大部分分析要求做出反应。 可分析性 。 OLAP系统应能处理与应用有关的任何逻辑分析和统计分析，用户无需编程就可以定义新的专门计算，将其作为分析的一部分，并以用户理想的方式给出报告。用户 可以在 OLAP平台上进行数据分析，也可以连接到其他外部分析工具上，如时间序列分析工具、成本分配工具、意外报警、数据开采等。 14 多维性 。 多维性是 OLAP的关键属性，系统必须提供对数据分析的 多维视图
10、和分析，包括对层次维和多重层次维的完全支持。事实上，多维分析是分析企业数据最有效的方法，是 OLAP的灵魂。 信息性 。 不论数据量有多大，也不管数据存储在何处， OLAP系统应能及时获得信息，并且管理大容量信息，这里有许多因素需要考虑，如数据的可复制性、可利用的磁盘空间、 OLAP产品的性能及与数据仓库的结合度等。 2. 现状和发展方向 由于 OLTP 已不能满足终端用户对数据库查询分析的需要， SQL 对大数据库进行的简单查询也不能满足用户分析的需求，用户的决策需要对关系数据库进行大量计算才能得到结果，而查询的结果并不 能满足决策者提出的需求， 所以研究和发展 OLAP就显得特别重要。 现
11、代 的 OLAP系统一般以数据仓库作为基础， OLAP 与数据仓库的关系是互补的，即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到 OLAP 存储器中供前端分析工具读取。 OLAP系统按照其存储器的数据存储格式可以分为关系 OLAP（ ROLAP）、多维 OLAP（ MOLAP）和混合型 OLAP(HOLAP)三种类型 。 1) ROLAP ROLAP 将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表存储在关系数据库中。不必要 将每一个 SQL查询都作为实视图保存，只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对 OLAP服务器的
12、查询，优先利用已经计算好的实视图来生成查询结果以提高查询效率。 ROLAP主要通过一些软件工具或中间软件实现，物理层仍采用关系数据库的存储结构，因此称为虚拟 OLAP。 2) MOLAP MOLAP 将 OLAP 分析所用到的多维数据物理上存储为多维数组的形式，形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围，而总结数据作为多维数组的值存储在数组的单元中。由于 MOLAP采用了 新的存储结构，从物理层实现起，因此又称为物理 OLAP。 3) HOLAP 由于 MOLAP和 ROLAP 有着各自的优点和缺点 ,且它们的结构迥然不同，这给分析人员设计 OLAP结构提出了难题。为
13、此一个新的 OLAP结构 混合型 OLAP（ HOLAP）被提出，它能把MOLAP和 ROLAP两种结构的优点结合起来。迄今为止，对 HOLAP还没有一个正式的定义。但很明显， HOLAP结构不应该是 MOLAP与 ROLAP结构的简单组合，而是这两种结构技术优点的有机结合，能满足用户各种复杂的分析请求。 15 仿照用户的多角 度思考模式，联机分析处理有三种不同的实现方法： 关系型联机分析处理 (ROLAP) 多维联机分析处理 (MOLAP) 前端展示联机分析处理 (Desktop OLAP) 3. 问题的评述 OLAP 与 OLTP 是 两 类不同的应用， OLTP 面对的是操作人员和低层管
14、理人员， OLAP 面对的是决策人员和高层管理人员； OLTP 是对基本数据的查询、增、删和改操作处理，它以数据库为基础，而 OLAP更适合以数据仓库为基础的数据分析处理。 OLAP中历史的、导出的及经综合提炼的数据均来自 OLTP 所依赖的底层数据库。 OLAP 数据较之 OLTP 数据要 多一步数据多维化或预综合处理，建立不同级别的统计数据，从而满足快速统计分析和查询的要求。除了数据及处理上的不同外， OLAP前端产品的界面风格及数据访问方式也同 OLTP有别， OLAP多采用便于非数据处理专业人员理解的方式（如多维报表和统计图形），查询提出及数据输出直观灵活，用户可以方便地进行逐层细化、
15、切块与切片和数据旋转等操作；而 OLTP 多为操作人员经常用到的固定表格，查询及数据显示也比较固定和规范。 三、总结部分 就目前的企业看来， OLTP已不能满足终端用户对数据库查询分析的需要， SQL对大数据库进行的简单 查询也不能满足用户分析的需求，用户的决策需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求， 所以研究和发展 OLAP 就显得特别重要。 对于企业来说，需要准确的决策，就需要部署商业智能，而 OLAP 专门设计用于处理支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以应分析人员要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直
16、观易懂的形式将查询结果提供给决策人员。 四、参考文献 1 (美 )William H.Inmon 著 王志海等 译数据仓库机械工业出版社 2006 2 朱德利 著 SQL Server 2005 数据挖掘与商业智能完全解决方案电子工业出版社 2007 3 李一军等 著商务智能高等教育出版社 2009 4 Alex Berson,Stephen J.Smith 著 Data Warehousing,Data Mining,&OLAP专著 数据仓库、数据发掘和联机分析处理世界图书出版公司 1999 5 梁静国 著决策支持系统与决策知识发现哈尔滨工程大学出版社 2009 6 谢邦昌等 著从数据采集到
17、数据挖 掘 From cati to datamining中国统计出版社 2009 7 林杰斌等 著数据挖掘与 OLAP理论与实务 专著 清华大学出版社 2003 8 邵峰晶等 著数据挖掘原理与算法科学出版社 2009 9 (美 )Paulraj Ponniah 著段云峰等 译数据仓库基础电子工业出版社 2004 10 AMT研究院 商业智能的发展及核心支撑技术（一） 计算机世界网 2005-01-04 11 张维迎主编 ,张俊妮编著著数据挖掘与应用 Data mining and its application北京大学出版社 2009 12 陈志泊等 著数据仓库与数据挖掘清华大学出版社 2009 13 吕晓玲等 著数据挖掘方法与应用中国人民大学出版社 2009 14 王丽珍等 著数据仓库与数据挖掘原理及应用科学出版社 2009 15 Michael Steinbach等 著 Introduction to Data Mining Addison Wesley 2005
