SQL Server+Hadoop 变身大数据解决方案.doc

1、SQL Server+Hadoop 变身大数据解决方案关键字：SQL Server Hadoop 大数据 解决方案【IT168 专稿】在数据库市场中，微软的 SQL Server 是最受关注的产品之一。在数据库知识网站 DB-Engines 每月公布的数据库流行度排行榜中，SQL Server 几乎稳占第二名的位置。但从这个榜单每月的变化中也可以看出，大量 NoSQL 数据库的排名不断上升，已经开始威胁到传统数据库的地位。“以不变应万变”不再是大数据时代应有的策略，老牌数据库厂商在保持传统市场领先的基础上，不断拓展新市场，微软就是其中的一个代表。微软的改变最早是为了向 Bing提供高质量的搜索

2、结果，这与 Google 的情况类似，互联网行业总是最早面临大数据挑战的。微软端到端的大数据解决方案可以总结为 SQL Server、Windows Azure 和Hadoop，用微软自己的话说就是数据管理、数据扩充和洞察力。下面笔者将按照自下而上的顺序盘点微软大数据解决方案的具体内容：一、数据管理在微软的大数据解决方案中，数据管理是最底层和最基础的一环。灵活的数据管理层，可以支持所有数据类型，包括结构化、半结构化和非结构化的静态或动态数据。在数据管理层中主要包括三款产品：SQL Server、SQL Server 并行数据仓库和 Hadoop on Windows。针对不同的数据类型，微软提

3、供了不同的解决方案。具体来说，针对结构化数据可以使用 SQL Server 和 SQL Server 并行数据仓库处理 ;非结构化数据可以使用 Windows Azure 和 Windows Server 上基于 Hadoop 的发行版本处理;而流数据可以使用 SQL Server StreamInsight 管理，并提供接近实时的分析。1、SQL Server。去年发布的 SQL Server 2012针对大数据做了很多改进，其中最重要的就是全面支持 Hadoop，这也是 SQL Server 2012与 SQL Server 2008最重要的区别之一。今年年底即将正式发布的 SQL Ser

4、ver 2014中，SQL Server 进一步针对大数据加入内存数据库功能，从硬件角度加速数据的处理，也被看为是针对大数据的改进。2、SQL Server 并行数据仓库。并行数据仓库(Parallel Data Warehouse Appliance，简称 PDW)是在 SQL Server 2008 R2中推出的新产品，目前已经成为微软主要的数据仓库产品，并将于今年发布基于 SQL Server 2012的新款并行数据仓库一体机。SQL Server 并行数据仓库采取的是大规模并行处理(MPP) 架构，与传统的单机版SQL Server 存在着根本上的不同，它将多种先进的数据存储与处理技术

5、结合为一体，是微软大数据战略的重要组成部分。3、Hadoop on Windows。微软同时在 Windows Azure 平台和 Windows Server上提供 Hadoop，把 Hadoop 的高性能、高可扩展与微软产品易用、易部署的传统优势融合到一起，形成完整的大数据解决方案。微软大数据解决方案还通过简单的部署以及与Active Directory 和 System Center 等组件的集成，为 Hadoop 提供了 Windows 的易用性和可管理性。凭借 Windows Azure 上基于 Hadoop 的服务，微软为其大数据解决方案在云端提供了灵活性。二、数据扩充社交媒体的兴

6、起给企业带来独特的计划，以获取更多商业价值，最终实现竞争优势。微软大数据解决方案将数据和模型与公用的数据和服务(包括 Twitter、Facebook 和LinkedIn 等社交媒体网站)相结合，从而能够实现突破性的发现。在数据扩充层，微软提供的最重要的平台是 Windows Azure Marketplace。Windows Azure Marketplace 是一个在线市场，用于购买和销售完成的软件即服务(SaaS)应用程序和高级数据集。Windows Azure Marketplace 可以帮助将寻求基于云的创新解决方案的公司与开发了准备使用的解决方案的合作伙伴连接到一起，使客户能够使用

7、 Windows Azure Marketplace 上的应用程序和挖掘算法来发现隐藏的模式。通过 Windows Azure Marketplace 进行共享和协作：微软大数据解决方案可让客户通过 Windows Azure Marketplace 共享数据并发现新的洞察力，Windows Azure Marketplace 可通过开放数据协议 (OData)展露数百种来自微软和第三方的应用程序和数据挖掘算法。与社交媒体集成：微软大数据解决方案可让客户通过来自社交媒体网站(例如Twitter 和 Facebook)的公用数据来扩展他们的分析。微软的一款代号为“Social Analytics

8、”的基于云的项目允许企业将社交媒体信息与业务应用程序相集成。借助 Hadoop 执行高级分析：微软大数据解决方案支持传统的 BI 以及高级分析( 例如数据挖掘和图形挖掘)，从而可让客户从他们所有的数据中发现新价值。Hive ODBC Driver 可让客户使用 SQL Server 数据挖掘工具执行预测分析。微软还将支持 Mahout等其他高级分析工具，以及使用 C+、C#、Python、Ruby 和 Pearl 编写的挖掘算法。三、洞察力企业收集、存储和处理数据，最终目的还是要获得洞察力。企业需要能够轻松处理和分析 PB 级的新数据，而不用担心建立复杂的分布式存储和计算集群，并且要能够随着需

9、求的增加实现缩放。微软大数据解决方案可让客户用熟悉的 BI 工具从他们的结构化和非结构化数据中获得可执行的洞察力。从洞察力的层面，微软提供了两款主要的产品，分别是 Office Powerpivot 和SharePoint Power View。PowerPivot 和 Power View 工具，能够帮助企业快速的从数据中发现信息，从而解决业务问题。其中，PowerPivot 可以用来设计数据模型，Power View 可以用来设计可视化报表，报表还可以发布到 SharePoint 平台上。最终用户能够根据自己业务视角及要求设计数据模型并展示出来，充分利用数据和前台界面的力量，满足业务需求。

10、使用熟悉的工具分析 Hadoop 数据：微软可让用户利用 Excel 的 Hive 组件在熟悉的 Excel 环境中与 Hadoop 中的非结构化数据进行交互并加以分析。通过任何数据获得深入的洞察力：企业可以用熟悉的 BI 工具( 例如 Microsoft SQL Server Analysis Services (SSAS)、PowerPivot 和 Power View)通过 Hive Open Database Connectivity (ODBC) Driver 来分析 Hadoop 中的非结构化数据。企业还可以用 SQL Server 2012上的 PowerPivot 和 Powe

11、r View 对关系型数据采用自助服务的 BI 产品。通过简化的编程驱动洞察力：微软通过与.NET 和新的 JavaScript 库集成简化了Hadoop 的编程。开发人员可以在 JavaScript 中使用新的 JavaScript 库来轻松编写MapReduce 程序，然后通过简单的 浏览器来部署他们的 JavaScript 代码。小结微软的大数据解决方案从本质上看还是原有 SQL Server 和 Office 产品的升级，最大的亮点是在 SQL Server、Windows Server 和 Windows Azure 中都集成了Hadoop 功能，使 Hadoop 成为连接这三者之间的桥梁。微软的大数据解决方案产品丰富、功能齐全，但相对缺乏创新。在用户看来，微软最大的特色就是产品的易用性和界面的友好性，这也是用户选择微软的主要原因。