基于资源基础观的大数据技术探析.doc

1、1基于资源基础观的大数据技术探析作者简介：石文萍(1989-), 女，汉族，山西晋中人，在读研究生，山西财经大学管理科学与工程学院 管理科学与工程专业 研究方向：组织创新与网络治理。 摘要：“大数据”无疑是当下最热门的话题，但随着人们对于“大数据”研究的逐渐深入，大数据技术问题面临严峻的挑战，本文在分析了大数据背景和研究意义的基础上提出了当前大数据面临的技术挑战，并从资源基础观的视角对能耗、算法、安全等几个角度阐述了大数据技术的应对策略。 关键词：大数据;技术挑战;能耗；算法；资源基础观一、引言 随着科学技术的发展和人们需求的不断变化，信息数据量逐年增加，尤其是过去几年结构化数据、半结构化数据

2、等多种类型的数据几乎呈现爆炸式增长。维克托迈尔舍恩伯格曾说，世界的本质就是数据，大数据的发展动力主要来源于人类测量、记录和分析世界的渴望。 阿尔文托夫勒（1980）在其第三次浪潮一书中首次提到“大数据”一词。随后在 20 世纪 90 年代，被称为“数据仓库之父”的比尔伊蒙（Bill Inmon）明确提出了“大数据”的概念。但“大数据”的说法在当时并没有引起人们的过多关注。2012 年 3 月 22 日，奥巴马宣称美国政府即将投资 2 亿美金启动“大数据研究和发展计划” 。这项计划的实施更提高了研究者们对于“大数据”的关注度。 2二、大数据的研究意义 随着人们对于大数据的关注度越来越热，研究者们

3、发现大数据存在巨大的科学价值和社会价值。一旦思维转变，挖掘数据就能被用来激发新产品和新服务，只要善于挖掘、抽取和利用数据，不仅能够成为企业之间竞争的核心力量，同时也成为国家竞争力的一部分。2009 年时，甲型 H1N1 流感迅速传播，谷歌公司解释了怎样预测冬季流感的传播。这种预测方法在之前是被人们所忽视的，建立在大数据的基础上的一种前所未有的方式，通过对海量数据进行检索与分析，获得了巨大的价值。到2012 年为止，Farecast 系统的检索了将近 10 万亿条价格记录在预测美国国内航班的记录，这种预测工具使得购买机票的旅客，平均每张机票科节省 50 美元，等等都被称为是大数据应用的经典案例。

4、显然，有效挖掘、利用大数据能够产生巨大的科学价值和社会价值，大数据逐渐成为现代社会基础设施的一部分。 三、大数据面临的技术挑战 无数成功的案例，无不证明了大数据带来的潜在价值，而且国家在大数据技术方面已经投入大量的人力、物力等，然而如果没有与大数据相匹配的科学技术带动的话，我们将无法有效利用大数据的潜在价值。 中国电子科学研究院学报编辑部在中国电子科学研究院学报1中讲到大数据的特点时，不仅强调了大数据多样化、海量、快速、灵活等四个特点，更加强调了大数据复杂性的特点，使得对大数据的处理更加艰巨，并且传统的基于网格分布式型数据库的商务智能已经不再适合对大数据进行处理了，所以大数据对软件技术提出了更

5、高的要求。维3克托迈尔- 舍恩伯格在其著作大数据时代中也指出这一点，“数据量的大幅增加会造成结果的不准确，一些错误的数据会混进数据库，造成数据库的混杂性”2。在数据从数据产生到数据的利用经历了许多的过程，而且任何一次数据的筛选与分类都无法回避面临的技术方面的挑战，如图 1 所示为数据的整个处理流程：图 1 大数据处理流程 如上图所示，在对源数据进行简单的筛选和抽取后，大量的数据主要以结构化数据、半结构化数据和非结构化数据三种形式存在，虽然目前 Hadoop 和 NoSQL 等分布式处理技术已经能对非结构化的数据进行挖掘、抽取并有效利用，但是还没有一个比较全面而完善的解决方案。 四、 大数据技术

6、的应对策略 随着各种分类和存储技术的发展，大数据的研究带来巨大的价值，但是同时也付出了巨大的代价，从资源基础观的角度，大数据技术在带来巨大价值的同时，我们更加应该关注付出的成本，毕竟净价值才是大数据的终极目标。本文主要从资源基础观的角度对大数据面临的技术挑战，从能耗、算法、安全等几个方面来阐述大数据技术的应对策略。 （1）大数据能耗问题的应对策略。吴金红等人在大数据：企业竞争情报的机遇、挑战及对策研究中谈到大数据时代即将面临的能源消耗问题。麦肯锡公司经过一年的调查研究，最终在纽约时报上发表文章“Power，pollution andthe Internet”据调查研究，能耗在目前数据管理系统中

7、的费用大约占总能耗的 16%左右。我国的“十二五”规划中，明确了对于能源的要求，我们更要节约能源、资源，有效的利用资源。大数据新型存储技术中的闪存和相变存储器 PCM，能够有效降低能耗4的问题。闪存比磁盘能耗更低，读取数据的能耗只占磁盘的 2%,而且写操作也只有磁盘的 30%，闪存的出现为目前大数据研究带来的高耗能问题提供了有力的支持。PCM 是一种基于微型存储单元的相变存储器，保存数据或代码不需要刷新电流，而且不容易流失，这将或许成为降低耗能更好的选择3。 （2）大数据算法问题的应对策略。目前许多传统的数据抽取和存储技术已经不再适用，而且大数据模型中算法的优化需要长时间的积累与沉淀，越早研究

8、就越有利用竞争，越能够降低成本，因此研发具有世界先进水平的大数据算法技术具有迫切的意义。 大数据模型的优化主要核心就是要确定目标函数的参数，通过优化相应的目标函数来优化传统的算法。目前针对算法技术的难题，我们可以采用随机梯度下降模型来优化目标函数，即先找到目标函数 f（w）,然后采用迭代的策略，从初始点 W0 开始，沿着目标函数初始点的负梯度方向进行研究，即 Wt+1=Wt-f(Wt),直到不能再继续迭代，则会得到最优解 W*。目标函数的形式一般假设为 f(w)=i=1nf(w,xi),其中：xi 为第 i 个数据项4。随机梯度下降能够有效的处理非机构化数据的并行问题而且对数据的容错性较高。

9、（3）大数据安全技术的应对策略。在谈到大数据的风险问题时，不可回避的一个问题就是大数据带来的安全问题。资源基础观强调了研发新技术产生价值的同时也要利用技术来降低资源的浪费。在亚洲、南美等新兴市场，数据保护的缺失更加严重。海量数据技术的发展能够有效跟踪网络异常行为，把实时安全和应用联合在一起进行对数据的有效防5护。关于数据安全存储的应对策略主要从以下四个方面来队数据安全进行解决与维护：一、数据加密。通过关键技术对数据加密能够有效保护隐私和防止黑客攻击；二、分离密钥和加密数据；三、使用过滤器；四、数据备份。通过以上四个方面对数据端对端的保护，能够有效确保大数据信息的安全5。 五、结论与展望 本文对

10、近几年来国内外关于大数据的产生背景和研究意义进行了回顾和总结，并对当前技术面临的挑战从资源基础观的角度提出了一些应对的策略。但目前我国关于大数据的研究还在初期阶段，我们随后将会通过提出更加有针对性的解决措施或相关的评价性研究等方式来降低风险，提高利用大数据的有效性。 参考文献 1中国电子科学研究院学报编辑部.中国电子科学研究院学报.2013(1). 2英维克托迈尔舍恩伯格、肯尼思库克耶著，盛杨燕等译， 大数据时代 ，浙江人民出版社. 3金培权等.面向新型存储的大数据存储架构与核心算法综述J.计算机工程与科学.2013(10). 4陈一昕.大数据思维革命与算法挑战.业务与运营.2013. 5郭三强.大数据环境下的数据安全研究J.科技广场.2013.02.