1、商务智能:从数据中挖取利润 作者:陈红 发表:2003.04.30 10:04:58 来源:中国计算机用户- 赛迪网编者按:商务智能帮助用户对商业数据进行联机分析处理和数据挖掘,例如预测发展趋势、辅助决策、对客户进行分类、挖掘潜在客户等等。那么,商业智能涉及到哪些核心技术?它的技术走向以及应用前景如何?请看陈红教授的精彩论述。 商务智能的技术支柱商务智能是指将企业的各种数据及时地转换为企业管理者感兴趣的信息(或者知识) ,并以各种方式展现出来,帮助企业管理者进行科学决策,加强企业的竞争优势。这里的数据不仅仅指企业内部的各种数据,而且包括企业外部的数据,例如行业、市场状况和客户资源的数据等等。
2、从技术角度看,商务智能的过程是企业的决策人员以企业中的数据仓库为基础,经由联机分析处理工具、数据挖掘工具加上决策规划人员的专业知识,从数据中获得有用的信息和知识,帮助企业获取利润。 从应用角度看,商务智能帮助用户对商业数据进行联机分析处理和数据挖掘,例如预测发展趋势、辅助决策、对客户进行分类、挖掘潜在客户等等。 从数据角度看,商务智能使得很多事务性的数据经过抽取、转换之后存入数据仓库,经过聚集、切片或者分类等操作之后形成有用的信息、规则,来帮助企业的决策者进行正确的决策。 在三大技术支柱中,数据仓库是商务智能的基础。数据仓库是一个用以更好地支持企业或组织的决策分析处理的的数据集合,它有面向主题
3、、集成、相对稳定、随时间不断变化四个特性,将数据仓库与传统的面向事务处理的数据库区分开来。数据仓库的关键技术包括数据的抽取、清洗、转换、加载和维护技术。 联机分析处理(OLAP)是以海量数据为基础的复杂分析技术。 它支持各级管理决策人员从不同的角度、快速灵活地对数据仓库中的数据进行复杂查询和多维分析处理,并且能以直观易懂的形式将查询和分析结果展现给决策人员。 OLAP 使用的逻辑数据模型为多维数据模型。常用的 OLAP 多维分析操作有上卷、下钻、切片、切块、旋转等。多维数据模型在物理实现时,主要有三种方式:ROLAP结构、MOLAP 结构和 HOLAP 结构。其中 ROLAP 是基于关系数据库
4、的 OLAP 实现, MOLAP 是基于多维数据组织的 OLAP 实现,HOLAP 是基于混合数据组织的 OLAP 实现。 数据挖掘(Data Mining)是从海量数据中,提取隐含在其中的、人们事先不知道的但又可能有用的信息和知识的过程。数据挖掘的数据有多种来源,包括数据仓库、数据库或其他数据源。所有的数据都需要再次进行选择,具体的选择方式与任务相关。挖掘的结果需要进行评价才能最终成为有用的信息,按照评价结果的不同,数据可能需要反馈到不同的阶段,重新进行分析计算。数据挖掘的常用方法包括关联分析、分类和预测、聚类、检测离群点、趋势和演变分析等。可以说:联机分析处理和数据挖掘是数据仓库之上的增值
5、技术。 商务智能的技术走向目前,无论在商务智能技术的理论研究中还是在产品实现中,联机分析处理与数据挖掘两大技术是分离的。 在理论研究上,OLAP 技术的研究人员主要来自数据库界,重点研究 CUBE 压缩与计算、实体化视图的选择与维护、多维数据的索引和多维查询处理等技术,以便能够在海量数据上提供秒级的分析请求响应时间。数据挖掘技术的研究人员来自人工智能、统计、数据库界,其研究主要集中在各种挖掘算法和评价方法上,研究可伸缩的数据挖掘方法、基于约束的挖掘方法、复杂数据类型的挖掘等。 在产品实现上,IBM、ORACLE、Cognos、SAS 、NCR、Brio 等软件厂商,看准商务智能软件的市场,通过
6、自行研制或收购的方式推出了相关产品。其中数据库厂商通常给出从数据仓库到联机分析处理再到数据挖掘的全套解决方案,其他厂商则侧重于独立的分析、展现与挖掘工具的开发。即使是在全套解决方案中,其 OLAP 与数据挖掘产品也是相互独立的。 联机分析处理和数据挖掘虽然是数据仓库上获取两种不同目标的数据增值技术,但这两类技术如果能够在一定程度上融合,会使分析操作智能化,使挖掘操作目标化,从而全面提升商务智能技术的实用价值。即:一方面,联机分析技术可以为数据挖掘提供预期的挖掘对象和目标,避免挖掘的盲目性。另一方面,数据挖掘技术可以使联机分析处理智能化,减少分析人员手工操作的繁杂性,减轻分析人员的负担。例如,当
7、分析人员在手工分析操作中发现离群点数据,可以有针对性地直接对此数据利用数据挖掘技术寻找原因,从中找出恶意违规或发现新的需求点。又如,在数据分析过程中,通过跟踪分析人员的操作过程,利用数据挖掘技术预测他可能感兴趣的操作和数据,提前预计算或预取数据,从而提高分析操作的响应时间。因此可以说,基于数据仓库的联机分析处理技术与数据挖掘技术的融合和互补,将是商务智能技术发展的未来走向。 商务智能的应用前景企业为迎接市场的挑战,必须对市场运作有准确的分析。商务智能系统的最大好处是可以得到准确、及时的信息,帮助企业赢得竞争优势,而这些功能的完成主要依靠数据仓库、联机分析处理和数据挖掘这三大技术。借助商务智能的
8、核心技术,利用企业中长期积累的海量数据,可以实现四方面的应用: * 客户分类和特点分析 根据客户历年来的大量消费记录以及客户的档案资料,对客户进行分类,并分析每类客户的消费能力、消费习惯、消费周期、需求倾向、信誉度,确定哪类顾客给企业带来最大的利润、哪类顾客仅给企业带来最少的利润同时又要求最多的回报,然后针对不同类型的客户给予不同的服务及优惠。 * 市场营销策略分析 利用数据仓库技术实现市场营销策略在模型上的仿真,其仿真结果将提示所制定的市场营销策略是否合适,企业可以据此调整和优化其市场营销策略,使其获得最大的成功。 * 经营成本与收入分析 对各种类型的经济活动进行成本核算,比较可能的业务收入
9、与各种费用之间的收支差额,分析经济活动的曲线,得到相应的改进措施和办法,从而降低成本、减少开支、提高收入。 * 欺诈行为分析和预防 利用联机分析和数据挖掘技术,总结各种骗费、欠费行为的内在规律后,在数据仓库的基础上建立一套欺骗行为和欠费行为规则库,就可以及时预警各种骗费、欠费,尽量减少企业损失。 在欧美发达国家,以数据仓库、联机分析处理和数据挖掘为基础的商务智能应用首先在金融、保险、证券、电信、税务等传统数据密集型行业取得成功。国外数据仓库的增长有多种因素驱动。一是经济全球化,打破了国际上存在的种种壁垒,消除了国家保护,各商家只有及时向客户提供产品和优质服务,才能在激烈的竞争中拥有客户和占有市
10、场,才能生存下来。二是知识经济的发展,导致企业的数据量剧增,企业亟需从这些庞大的数据中获知其隐含的信息和知识,制定相适应的政策,增强企业的竞争力。根据 IDC 分析,从 1997 年到 2002 年,整个数据仓库市场(软件、服务、服务器和存储)以平均每年 20.5的速度增长。IDC 的另一项调查结果表明,企业用于商务智能的投资回报率平均 2.3 年高达 400。一项来自美国 MetaGroup 的市场分析指出,92的企业将在今后 3 年内使用数据仓库。 国内数据仓库应用刚刚起步,电信、金融、证券、税务、零售业等已有大量操作型数据积累的企业都出现了迫切的应用需求,可以预计,商务智能在中国同样会有广阔的应用前景。但是另一方面,成功的数据分析与挖掘应用依赖于大量的、长期的、真实的历史数据积累,对于许多信息化建设起步较晚的企业,首先踏踏实实地做好基础数据库的建设更为重要,这也是为进一步走向商务智能打下基础。 本文作者为:中国人民大学数据与知识工程研究所 陈红教授