1、 数据分析平台解决方案成都四方伟业软件股份有限公司2017年1月数据分析平台解决方案1目录1. 背景概述 .52. 现状分析 .62.1. 主流BI模式 .62.1.1. 传统BI模式 .62.1.2. 敏捷BI模式 .72.2. 平台推荐模式 .83. 整体需求 .103.1. 数据源支持 .103.2. 自助式查询 .103.3. OLAP联机分析 .113.4. UI编排功能 .123.5. 丰富的组件 .133.6. 多种展示方式 .13数据分析平台解决方案23.7. 外部数据服务 .144. 总体设计 .154.1. 数据分析 .164.2. 设计运行 .164.3. 系统管理 .1
2、64.4. 可视化展示 .165. 功能设计 .175.1. 数据分析 .175.1.1. 多数据源 .175.1.2. 数据建模 .185.1.3. 多维BI分析 .185.2. 设计运行 .205.2.1. UI编排 .205.2.2. 丰富组件 .215.2.3. 事件引擎 .245.2.4. 运行引擎 .24数据分析平台解决方案35.3. 系统管理 .265.3.1. 我的报表 .265.3.2. 工程化管理 .265.3.3. 主题管理 .275.3.4. 布局管理 .275.3.5. 数据源管理 .275.3.6. 基础管理 .275.4. 可视化展示 .285.4.1. 决策仪表
3、盘 .285.4.2. 大屏综合显示 .305.4.3. 交互式WEB界面 .305.4.4. 基于GIS的数据可视 .335.5. 其他功能 .385.5.1. 数据探索 .385.5.2. 事件定义 .385.5.3. 项目管理 .39数据分析平台解决方案45.5.4. 基础管理 .395.5.5. 安全管理 .395.5.6. 部署与集成 .40数据分析平台解决方案51.背景概述当前,我们的世界已经迈入大数据(Big Data)时代,随着互联网、物联网、云计算等信息技术的迅猛发展,信息技术与人类世界、经济、军事、科研、生活等方面不断交叉融合,催生了超越以往任何年代的巨量数据。数据正在变得
4、无处不在、触手可及,数据的背后隐藏着信息,而信息之中蕴含着知识和智慧。而数据创造的真正价值,在于我们能否提供进一步的稀缺的附加服务,就是数据分析。数据的分析过程往往离不开机器和人的相互协作与优势互补。从这一立足点出发,大数据分析的理论和方法研究可以从两个维度展开:一是从机器或计算机的角度出发,强调机器的计算能力和人工智能,以各种高性能处理算法、智能搜索与挖掘算法等为主要研究内容,例如基于Hadoop和MapReduce/Spark框架的大数据处理方法以及各类面向大数据的机器学习和数据挖掘方法等,这也是目前大数据分析领域的研究主流;另一个维度从人作为分析主体和需求主体的角度出发, 强调基于人机交
5、互的、符合人的认知规律的分析方法,意图将人所具备的、机器并不擅长的认知能力融入分析过程中,这就是大数据可视化分析。数据分析平台解决方案6商业智能(Business Intelligence,简称BI)是进行数据可视化分析的一种重要手段。2.现状分析2.1. 主流BI模式Gartner的2016 BI和分析平台魔力象限报告指出:当今数据分析向可视化设计UE、自助式探索分析、分析和展现一体化平台发展已经成为大势所趋。2016年,传统的BI 厂商已经集体沦陷,全部被驱出了领导象限。2.1.1.传统BI模式在对数据进行分析的过程中,传统BI的做法是,IT人员事先根据分析需求来进行建模(以及做二次表或打
6、Cube),提前汇总好数据,业务人员在前端查看分析结果报表。分析过程如下所示。数据分析平台解决方案7这种做法很成熟,持续了很多年,但是也存在着一些问题:1、业务人员查看的报表相对静态,分析的维度和度量的计算方式已在建模时预先设定好,不能更改,比如定好了是求和或求平均数,想改成求方差必须回去修改模型。2、分析需求变更时,业务人员不能直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较久。2.1.2.敏捷BI模式随着技术的发展和演进,BI领域已经迎来了新一代敏捷BI的革新。基于大数据的处理技术,其对TB-PB级的数据可实现秒级响应。敏捷BI 的数据展现是起点,而不是终点。看到
7、了数据,能交互式分析,能深入向下挖掘,能发现问题找到答案。数据分析平台解决方案8敏捷BI的分析报告能让非IT 部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门,这样会严重增加IT部门的工作负担。敏捷BI 的实施和操作相比传统 BI都要来得更为简单,可以说是以业务人员为使用对象的BI,支持自助探索式分析。分析报告需求经常需要数据层的改动,需要IT部门去改进数据层和业务层,传统BI平台需要一两个月去梳理模型。敏捷BI 无需事先建模,可在分析过程中灵活调整分析维度和报表展现,需求变更可以在一天之内响应,提升企业的洞察力决策力。与传统BI的重量建模、统一视图不同,敏捷BI 采
8、取轻量建模、N 个视图的方法,数据连进来直接可以进行分析,并且业务人员可以实时调整分析的维度和度量的计算方式,极大增加灵活性,真正做到和数据对话。2.2. 平台推荐模式从前文可以看出,敏捷BI以“快而有效”的方式解决了业务与技术长期的矛盾,为数据市场带来了新的活力,也引领了商业智能可视化分析的走向。但我们也要冷静思考:敏捷 BI和过去二十五年一样,无法替代Excel,这是为什么?大众化的敏捷BI产品和过去二十五年一样,只能通过Ctrl+C/V才能进入数据分析平台解决方案9Word/PPT当中,而这“交付的最后一步”却是每个领导真正才会看到的数据分析!大众化的敏捷BI产品还是基于表格和图表化的分
9、析,似乎没有改变数据的堆砌,用户很难为其增加辅助性的说明文字,加入自己的观点!如果分析出报表之后,想要将这些BI 图表有机地结合起来,并形成一套完整的数据展示系统,难道还需要专门让IT技术人员编写一套WEB 系统,将这些图表嵌入到这个系统中去?大众化的敏捷BI产品即使具备报告/WEB 页面的发布能力,但这些报告发布之后都是一些静态页面,无法让最终使用者(业务人员或者领导)再次进行动态分析。比如:根据不同查询条件进行分析、动态切换维度和指标。大众化的敏捷BI产品不能与外部系统进行交互,他们发布的报表是独立存在的。这样就导致无法与外部业务系统有效地结合,从而让分析者、查看者有整体的感知,并不能根据外部系统的参数进行动态分析。所以,我们的数据分析平台应该在基于“业务主导的自服务模式(Business-User-Driven)”的敏捷BI基础上,增加了高级UI页面编排的功能。在进行可视化设计UE 分析的同时,也能设计出一套完整的WEB数据展现系统,体现了 “分析和展现一体化”。