1、大数据时代下的信息服务发展策略【摘要】本文从本质、特点、潜在价值和科学意义的角度对“大数据”的进行了全面分析,对现有的大数据的关键技术和研究方法进行了归纳,在此基础上,提出了基于大数据的信息服务的发展方式和方法,为大数据时代下信息服务业发展提供了参考。 【关键词】大数据 信息服务 一、引言 据百度百科,大数据(big data) ,或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 “大数据”已经成为当今信息技术领域和产业界最热门的话题,信息服务业应抓紧对日益扩大的数据资源开始了量化进程,获取其中
2、的管理和商业价值,提高业务效率和服务水平,不断推出新技术和新产品,提高服务水平和用户满意度。 二、大数据的特点 通俗的说,大数据就是规模非常庞大和结构非常复杂的数据集,通过传统的数据管理、分析和存储工具处理起来将面临很多问题。大数据同过去的海量数据有所区别,其基本特征可用 4 个“V”来总结(Volum , Variety, Value ,Velocity) ;即体量大、多样性、价值密度低和处理速度快。第一,数据体量巨大,从 TB 级别跃升到 PB 级别;第二,数据类型繁多,包括各种结构化数据、非结构化数据以及半结构化数据;第三,价值密度低,以视频为例,连续不间断监控过程中,可能有用的数据仅仅
3、有一两秒;第四,处理速度快,实时的获取、转换、查询与访问数据。 三、大数据的关键技术和研究方法 大数据技术是指从各式各样的海量数据中,快速有效地获得有价值信息的技术,其目的是解决海量数据处理问题,使人们通过对数据相关关系研究,发现新的商业价值或获得新的洞见。大数据技术涵盖采集数据的工具、数据挖掘的工具和数据分析系统等。因此,大数据时代带来的挑战是在如何从海量数据中获取有价值的信息,必须加强大数据技术研发,才能跟上时代发展的脚步。 云计算无疑是大数据时代的最重要的技术,甚至可以这么说,大数据与云计算是一个问题的两个方面:一个是提出的问题,一个是解决问题的方法。大数据不是一个很明确的概念,起初这个
4、概念是指需要处理的信息量过大,以至超出了一般电脑在处理数据时的最大内存量,因此技术人员需要完善处理数据的工具。云计算的思想是将计算能力连接成网络,以这样的网络来提供外部需要的计算能力,而对大数据的处理需求,催生了分布式的云计算新技术的诞生,例如谷歌的 MapReduce、起源于雅虎的开源 Hadoop 平台、分布式列数据库 HBase/NoSQL、数据挖掘工具 Hive 等等。有理由相信,当分析的数据量非常大的时候,云计算特别是 Map-Reduce 将会成为数据计算的常规做法。通过云计算平台对大数据进行深入挖掘、分析和预测,确保决策更为精准,开拓出更多的数据潜在价值。大数据这个宝藏的价值,将
5、通过云计算被发现和征服。全部实现潜在大数据的交付过程,通常需要七个步骤:收集:从数据源和分布在多个节点处收集数据;流程:系统使用相同的高功率并行执行,对每个节点上的数据进行快速计;管理:对来自各系统的异构的大数据进行理解、定义、注释,并进行安全审核;测量:根据业务的测量和持续跟踪类型的要求,测量数据的速率,与其他客户的行为或记录进行整合,并随时间的推移来决定是否对其进行整合或校正;利用:所产生的使用数据应符合原要求的处理流程;存储:由于“数据即服务”趋势的形成,越来越多的数据开始存储在单一位置,以便于进程的访问,根据数据的短期存储批处理或长期保留,谨慎提供存储解决方案;数据管理:大数据需要根据
6、其预期消费进行管辖。 四、大数据时代下信息服务业发展策略 几乎所有信息业制造商都在开发新的大数据功能、附件或者合作伙伴关系,以免错过在热门新市场销售产品的机会。随着越来越多的应用程序进入市场,越来越多的专有大数据分析和大数据集成产品的推出,信息服务业的局面可能会改变。为此,信息服务业应采取一下策略: 第一,充分理解大数据的内涵,关注和跟踪大数据带来的社会变革。大数据时代下,信息系统的社会属性将被更加凸显,许多社会元素将被打上量化的烙印,主动或被动的成为大数据的数据来源,同时,又有许多社会元素将自觉或不自觉的利用大数据,成为大数据的服务对象。信息系统的终极目的是为了用、好用、乃至非常好用,大数据
7、时代下信息服务的触角将伸向社会生活的更多方面,因此,建设信息服务时应充分理解大数据的内涵,关注和跟踪大数据带来的社会变革,有助于服务平台在新时代下发挥更好的作用。 第二,充分理解大数据对 IT 技术带来的影响,跟踪、学习与大数据紧密相关技术的发展,掌握这类技术在项目中的可能的范围、时间、成本的相关关系。大数据时代下,由于数据的充分覆盖性,信息服务所处理的问题往往是站在全局的高度之上提出的,这与现有的数据处理系统相比,不仅仅是一种量的改变,而是一种质的转化。于此相应,大数据时代的信息服务很难是仅凭现有 IT 技术就能实现的,而必须采用全新的IT 技术来支持,同时,信息服务的设计也很可能需要全新的
8、设计理念和设计思路。 第三,以往信息技术变革的重点在“T“上,而不是在“I”上。大数据时代,聚光灯转而打向“I” ,开始关注信息本身,从数据中挖掘价值,正是大数据时代的主旋律。我国信息服务业可参照谷歌等公司的数据模型,尝试采用语义网(Semantic Web)思想,即:“在语义网上,数据将像网页一样,成为组织资源的单位。一个数据,可以像万维网上的网页一样获得一个地址(即统一资源标识) ,同时,还有统一的语义对它进行描述。这样,语义网上的数据,就不再是一个死的数字,而是一个活的细胞 ,它可以被定位,还拥有和其它数据语义一致的标签,这意味着它可以和其它数据相联” 。由此建立可自学习的监理分析系统。随着数据积累,通过对海量数据进行深入分析和挖掘,创造高价值的产品和服务。 五、结论 大数据不仅仅是一门技术,更是一种全新的商业模型,它与云计算共同构成了下一代经济的生态系统,一切皆信息。因此,信息服务业的服务方式和方法也应该顺应大数据时代的到来而有所改变,提高服务水平和用户满意度。目前,我国基于大数据的信息服务研究也只是刚刚起步,此文意在抛砖引玉,旨在引起业内的关注,使研究走向深入。