《大数据时代》.doc

1、大数据时代摘要：随着网络信息化时代的日益普遍，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域，我们正处在一个数据爆炸性增长的“大数据“时代，大数据在社会经济、政治、文化，人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出了新的挑战与机遇。关键字： 大数据 云计算 海量 发展 影响 Abstract：As the network information age has become more common, mobile Internet, social network, the electronic commerce of the Internet greatly

2、expand the borders and application fields, we are in a data the explosive growth of “big data“ era, large data in the social economy, politics, culture, people life and other aspects have far-reaching influence, the big data age to the human data to control ability puts forward new challenges and op

3、portunities.Key word: Big Data Cloud computing Mass Development Influence一、大数据时代产生的背景进入 2012 年以来，大数据（Big Data）一词越来越多地被提及与使用，人们用它来描述和定义信息爆炸时代产生的海量数，它已经出现过在纽约时报 、 华尔街时报的专栏封面，进入美国白宫网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国君证劵、国泰君安、银河证劵等写进了投资推荐报告，大数据时代来临据。有人说 21 世纪是数据信息时代，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。我们在享受便利的

4、同时，也无偿贡献了自己的“行踪” 。现在互联网不但知道对面是一只狗，还知道这只狗喜欢什么食物，几点出去遛弯，几点回窝睡觉。我们不得不接受这个现实，每个人在互联网进入到大数据时代，都将是透明性存在。各种数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。正如纽约时报2012 年 2 月的一篇专栏中所称， “大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和

5、分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。 ”二、什么是大数据？大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。

6、即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如 Facebook 通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和 Facebook 它们都是大数据时代的创新者。（一） 、大数据四个特性海量性：企业面临着数据量的大规模增长。例如，IDC 最近的报告预测称，到 202

7、0 年，全球数据量将扩大 50 倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十 TB到数 PB 不等。简而言之，存储 1PB 数据将需要两万台配备 50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。多样性：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。高速性：高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现

8、软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据 IMS Research 关于数据创建速度的调查，据预测，到 2020 年全球将拥有 220 亿部互联网连接设备。易变性：大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。（ 二 ） 、

9、 大 数 据 三 个 特 征除 了 有 四 个 特 性 之 外 ， 大 数 据 时 代 的 数 据 还 呈 现 出 其 他 三 个 特征 。第 一 个 特 征 是 数 据 类 型 繁 多 。 包 括 网 络 日 志 、 音 频 、 视 频 、 图片 、 地 理 位 置 信 息 等 等 ， 多 类 型 的 数 据 对 数 据 的 处 理 能 力 提 出 了更 高 的 要 求 。第 二 个 特 征 是 数 据 价 值 密 度 相 对 较 低 。 如 随 着 物 联 网 的 广 泛应 用 ， 信 息 感 知 无 处 不 在 ， 信 息 海 量 ， 但 价 值 密 度 较 低 ， 如 何 通过 强 大

10、 的 机 器 算 法 更 迅 速 地 完 成 数 据 的 价 值 “提 纯 ”， 是 大 数 据时 代 亟 待 解 决 的 难 题 。第 三 个 特 征 是 处 理 速 度 快 ， 时 效 性 要 求 高 。 这 是 大 数 据 区 分 于传 统 数 据 挖 掘 最 显 著 的 特 征 。三、大数据时代对生活、工作的影响大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。“大数据”的影响，增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限于信息通信产业，

11、而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不

12、应该简单地服从法律方面的隐私保护问题，这些远远不够的，公司都应该遵从谷歌不作恶的原则，甚至更应该做出更积极的努力。四、大数据时代的发展方向、趋势虽 然 大 数 据 目 前 在 国 内 还 处 于 初 级 阶 段 ， 但 是 商 业 价 值 已 经显 现 出 来 。未 来 ， 数 据 可 能 成 为 最 大 的 交 易 商 品 。 但 数 据 量 大 并 不 能 算是 大 数 据 ， 大 数 据 的 特 征 是 数 据 量 大 、 数 据 种 类 多 、 非 标 准 化 数据 的 价 值 最 大 化 。 因 此 ， 大 数 据 的 价 值 是 通 过 数 据 共 享 、 交 叉 复用 后 获 取

13、 最 大 的 数 据 价 值 。 在 他 看 来 ， 未 来 大 数 据 将 会 如 基 础 设施 一 样 ， 有 数 据 提 供 方 、 管 理 者 、 监 管 者 ， 数 据 的 交 叉 复 用 将 大数 据 变 成 一 大 产 业 。大数据的整体态势和发展趋势，主要体现在几个方面：大数据与学术、大数据与人类的活动，大数据的安全隐私、关键应用、系统处理和整个产业的影响。大数据整体态势上，数据的规模将变得更大，数据资源化、数据的价值凸显、数据私有化出现和联盟共享。大数据的发展会催生许多新兴新职业，会产生数据分析师、数据科学家、数据工程师，有非常丰富的数据经验的人才会成为稀缺人才。随着大数据的

14、发展，数据共享联盟将逐渐壮大成为产业的核心一环。随着大数据的共享越来越大，隐私问题也随之而来，比如说每天手机产生的通话、位置等等。但这给带来了便利的同时也给带来了个人隐私的问题。数据资源化，大数据在国家和企业和社会层面成为重要的战略资源，成为新的战略制高点和抢购的新焦点。随着社会的不断发展，大数据对 IT 技术架构的挑战，大数据的生态环境问题，大数据的应用及产业链将日益突出。五、企业应如何应对大数据时代近些年，大数据已经和云计算一样，成为时代的话题。大数据是怎么产生的，商业机会在哪？研究机会在哪？这个概念孕育着一个怎样的未来？企业如何应对？一个好的企业应该未雨绸缪，从现在开始就应该着手准备，为

15、企业的后期的数据收集和分析做好准备，企业可以从下面五个方面着手，这样当面临铺天盖地的大数据的时候，以确保企业能够快速发展，具体为下面五点。 （一） 、以企业的数据为目标几乎每个组织都可能有源源不断的数据需要收集，无论是社交网络还是车间传感器设备，而且每个组织都有大量的数据需要处理，IT 人员需要了解自己企业运营过程中都产生了什么数据，以自己的数据为基准，确定数据的范围。（二） 、以业务需求为准则虽然每个企业都会产生大量数据，而且互不相同、多种多样的，这就需要企业 IT 人员在现在开始收集确认什么数据是企业业务需要的，找到最能反映企业业务情况的数据。（三） 、重新评估企业基础设施大数据需要在服务

16、器和存储设施中进行收集，并且大多数的企业信息管理体系结构将会发生重要大变化，IT 经理则需要准备扩大他们的系统，以解决数据的不断扩大，IT 经理要了解公司现有 IT设施的情况，以组建处理大数据的设施为导向，避免一些不必要的设备的购买。（四） 、重视大数据技术大数据是最近几年才兴起的词语，而并不是所有的 IT 人员对大数据都非常了解，例如如今的 Hadoop，MapReduce，NoSQL 等技术都是近年刚兴起的技术，企业 IT 人员要多关注这方面的技术和工具，以确保将来能够面对大数据的时候做出正确的决定。（五） 、培训企业的员工大多数企业最缺乏的是人才，而当大数据到临的时候，企业将会缺少这方面

17、的采集收集分析方面的人才，对于一些公司，特别是那种人比较少的公司，工作人员面临大数据将是一种挑战，企业要在平时的时候多对员工进行这方面的培训，以确保在大数据到来时，员工也能适应相关的工作。做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进企业快速发展。参考资料1 李建义. 数据库原理及开发. 北京：中国水利水电出版社，20052 维克托迈尔舍恩伯格. 大数据时代. 浙江：浙江人民出版社 20123 艾伯特-拉斯洛 巴拉巴西 .爆发. 北京：中国人民大学出版社 20124 大数据时代降临 半月谈网 2012-09-22 5 IT 部门如何应对大数据时代？ CIO 时代网 2012-02-27 6“大数据”时代来临决策不能只凭经验 东方早报网 2012-04-11 7“大数据时代”来临 北京晚报网 2012-06-15 8 大数据时代来临：国内 IT 企业布局已然落后 新浪网 2012-06-01