大数据时代情报学面临的挑战和机遇.doc

1、1大数据时代情报学面临的挑战和机遇摘要随着大数据时代的来临，大数据吸引了包括政府、企业等在内的多方关注，被称为是下一个社会发展阶段的“金矿”和“石油” ，具有催生社会变革的能量。它同样也给情报学这一学科带来了很多难题和机遇。本文针对大数据时代情报学面临的挑战进行分析，提出了大数据时代情报学的学科发展趋势以及情报学在大数据时代发展的机遇。 关键词大数据；情报学；研究方法；非结构化数据 中图分类号G250.2文献标识码A文章编号1008-0821（2013）08-0058-03 大数据（big data） ，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取

2、、管理、处理，并整理成为帮助企业经营决策更积极目的的资讯。 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。著云台的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像 MapReduce 一样的框架来向数十、数百甚至数千的电脑分配工作1。所以大数据时代对于各个学科的要求都提高了很多，对于情报学专业而言，大数据时代同样带来了很多挑战和机遇。 21 大数据时代情报学面临的挑战 进入 2012 年之后， “大数据”

3、一词被越来越多的人所提及，它用来描述信息大爆炸时代产生的海量数据，时至今日“大数据”的研究价值已经可以和黄金相媲美。所谓“大数据”顾名思义，首先是数据量要大，但是并不是数据量大的数据都可以称之为大数据，IBM 公司大数据的特点是 4 个 V：Volume（大量） 、Velocity（高速） 、Variety（多样）及Veracity（真实） ，它提供了在新的和正在出现的数据和内容中洞悉事物的机会，使业务更加灵活，并回答以往没有考虑到的问题2。Gartner公司的报告也提出，大数据是大容量、高速和多样化的信息资产，它们需要新的处理方式，以提高决策能力、洞察力和流程优化3。 在笔者看来， “大数据

4、”还应该加入一个特点就是海量资料之间的关联程度。如果有一批更新速度极快的多样真实的大量数据，将这批数据看作一个整体，每个单独的数据看作是整体的一个组成部分，这些组成部分之间毫不相关，数据彼此很孤立，数据间的关系不清晰很难捉摸，看上去并不像一个整体，相反地更像是一盘散沙。这种零散的海量数据之间的关系断裂，其关联程度很低，也就导致其含金量减少，不能形成所谓的“大数据” 。 由此可见，大数据时代的背后其实有更加深刻的理念，同时这些理念也为情报工作者带来了新的挑战。 （1）大数据时代从字面上理解只是进入了一个海量数据时代，而实际上大数据时代更深刻的理念在于它带领我们进入了数据分析时代，数据的分析随着大

5、数据时代进入了一个前所未有的黄金时期，如何从海量3数据中获取有用的信息成为情报工作者面临的新挑战。 （2）大数据时代的另一个特点就是其多样性。进入大数据时代之后，数据的种类除了包括一部分结构化的数据以外，还包括很多非结构化的数据，例如文本、音频、视频等很多形式的数据。情报工作者要挖掘的某些规律可能隐含在各种形式的数据中，而同一种形式的数据又有可能含有很多规律，如此一来，大数据时代就要求情报工作人员的统筹兼顾，不能漏过任何一种类型的数据。 （3）大数据时代不仅仅是数据量的巨大，其最主要的特点还有Velocity（高速） ，这一特点就迫使情报工作人员必须打破以往的人工分析的工作模式，计算机智能分析

6、将成为未来大数据时代数据分析的主流技术。 在大数据时代中，要求将情报学和其他各个学科相结合，在其他学科的各个领域内应用情报学的知识对海量的数据进行分析研究，并将各个学科领域内的研究都归为情报学的一个组成部分加以建设，情报学自身的优势何在，劣势何在，如何把握大数据时代这一机会进一步进行学科的完善，是我们应该思考的问题。 2 情报学在大数据时代的发展趋势 大数据时代的变革将会引领情报学进入一个崭新的发展阶段，英国莱斯特大学的 MarkPhythian 教授在 2008 年发表了题为“Intelligence Analysis Today and Tomorrow”的报告中指出4：获知情境是非常重要

7、的。忽略战略环境、领导作风和心理因素等更广泛的问题，都会引起情报研究的失误；加强信息之间的关联。美国政府内部信息共享的4障碍，分析人员无法获得足够的信息，以支持分析活动，导致情报研究预测失败；要学习更多外部的专业知识。这一举措虽然不能保证分析的成功性，但将是竞争分析的重要信息来源。 在大数据时代背景下，通过对国内外学者和专家的研究成果的研究，笔者认为情报学未来发展的三方面趋势：情报学将会从原来的单一学科的研究转变为多学科交叉结合研究；情报学研究中数据的采集和获取范围将会从单一的结构化数据转变为加入更多的非结构化数据；情报学的分析方法将会从原来的人工分析为主体转变为计算机智能化为主体的智能分析。

8、 2.1 单一学科的研究转变为多学科交叉结合研究 情报学是信息大爆炸时代的新兴学科，而面对大数据时代，信息量不但巨大而且更新速度极快，传统的情报学研究方法已经不能满足大数据时代人们对于信息处理的需求，传统的情报学更多的是处理结构化的数据，而大数据时代给我们带来更多非结构化的数据，非结构化数据的处理不是基于数学和逻辑运算，而主要是基于对内容含义的理解和语义分析，包括各种形式的分类、检索、信息抽取和内容匹配等方法。传统数据库技术，例如 SQL 语言在设计之初仅考虑了结构化数据，在海量非结构化数据中已然无用武之地。 未来情报学在发展中应该汲取各个领域的不同学科的方法和优势，开创更多新型的研究方法来应

9、对“大数据”的处理问题，而在非结构化数据的包装下其数据的本源是什么，数据的含义何在，这些问题在以后的情报学研究中就需要涉及到本体论的相关应用来解决。为了顺应大数5据时代的需要，面对高速产生的繁杂的海量数据，本体思想无疑是解决内容含义和语义分析最有力的武器。 此外，对于很多企业的数据资源，情报学这一学科需要研究的除了用户的行为挖掘之外，还要运用很多其他学科的知识进行辅助分析，例如心理学的相关理论已经逐步被引用到情报学领域，并起到辅助数据分析的作用，而情报学反过来在应用其他专业知识的同时也可以为其他专业提供新的思维和引导。如此一来，多学科交叉将会增多，多学科交叉研究将会成为未来情报学以及其他学科为

10、顺应大数据时代的一个发展方向。 2.2 情报学研究中数据的采集和获取范围将会从单一的结构化数据转变为加入更多的非结构化数据不同信息源可以从不同角度揭示问题，如专利、研究出版物、技术报告等，可以较为直观地反映研究者对某科技问题的理解与描述，而评论文章、科技新闻、市场调查等，可以反映出社会对该科技的观点、认知情况5。 在大数据时代，情报学这一学科需要研究的数据量更大，数据类型更多，很多在别人看来是无用的数据，在情报学看来它们可能是最有价值的资源，情报学在大数据时代更多的要学会“捡垃圾” ，在海量资源中获取数据的同时不能忽略任何一个可以找到信息情报的数据，可能某一数据表面看来毫无用处，但是当这个数据

11、和其他数据整合在一起后就有可能是打开整个数据挖掘大门的金钥匙。 虽然情报学的很多研究方法在处理非结构化数据方面不是强项，比如情报学的一些分析方法，在处理图像信息和影音信息方面显得后劲不足，但是在研究中同样不能忽略这些资源，这也对情报工作者技术方面6提出了更高的要求，开发新技术，更好的对数据进行分析将是情报学未来面对的难题。而为了得到更优质的研究结果，从单一结构化数据的采集和获取转变为加入更多的非结构化数据将会是情报学研究的必然趋势。2.3 情报学的分析方法将会从原来的人工分析为主体转变为计算机智能化为主体的智能分析正如美国国家科学基金会（NSF）发布的报告6所说，美国在科学和工程领域的领先地位

12、将越来越取决于利用数字化科学数据以及借助复杂的数据挖掘、集成、分析与可视化工具将其转换为信息和知识的能力。 由于非结构化的数据的大量引入，情报学不可避免的将面对一场技术上的革命，而传统的人工分析不仅浪费人力资源，而且根本无法适应高速产生的数据群。开发计算机智能分析技术势在必行，在技术上，计算机智能化分析将会以更快的速度解决不断增长的海量数据，达到节约时间提高效率的作用。从数据类型方面，很多数据并不是传统人工方法可以完成的，例如分析视频和音频，这就需要新技术的支持，未来如果不开发计算机智能化新技术，将会导致很多视频和音频数据不得不被放弃掉。 计算机智能化新技术可以解放更多的人力去做更有价值的研究

13、，同时也是大数据时代进行高速数据处理，高速数据挖掘的需要。未来情报学中计算机智能分析模型的建立将会对情报工作者提出更多的要求，情报工作者除了有数据分析和挖掘的能力之外，还应该具有数学逻辑思维来辅助计算机智能化模型的建立，传统的人工分析为主体的分析方法，7必然会被计算机智能化分析方法所取代，这不仅是大数据时代的要求，也是当今社会发展的必然趋势。 3 大数据时代情报学的机遇 狄更斯曾经说过“机会不会上门来找，只有人去找机会。 ”而大数据时代的来临，无疑是为情报学的学科发展创造了契机。情报学还是一个比较年轻的学科，大数据时代的到来也显示出情报学的“年轻”之处，如何将情报学进行完善，如何让情报学走向成

14、熟，这都将会在大数据时代中找到解决的机遇。 3.1 完善学科技术和方法 美国 McKinsey Global Institute 在 2011 年 5 月发布了研究报告“大数据：创新、竞争和生产力的下一个前沿领域”7。报告分 6 个部分，其中第二部分讨论了大数据技术，并围绕大数据分析技术、大数据技术和可视化三方面进行了阐述。在大数据分析技术中，列举了 26 项适用于众多行业的分析技术，包括 A/B 测试、关联规则学习、分类、聚类分析、众包、数据融合和数据集成、数据挖掘、集成学习、遗传算法、机器学习、自然语言处理、神经网络、网络分析、优化、模式识别、预测建模、回归、情感分析、信号处理、空间分析、

15、统计、监督学习、模拟、时间序列分析、无监督学习和可视化8。 大数据时代，无论是数据量还是数据类型，都要求情报学这一学科对于自身的技术和研究方法进行一次变革和完善，以往的技术不能解决的问题，在大数据时代的今天将会得到解决；以往的方法不能研究的问题，在大数据时代也将得到研究，这也是技术和方法的升华。大数据时8代的到来，可以为情报学这一学科提供更强有力的数据处理分析工具和方法。 数据分析虽然是情报学的研究内容，但是大数据时代的契机下更多的人才进入这个领域，这样就使数据分析方法汲取百家之长，从各个方面得到了完善和发展。同时情报学在完善技术和方法的同时也将会开创更多的新技术，为将来更多的研究做铺垫，情报

16、学专业将会在大数据时代逐步走向成熟。 3.2 情报学将会更加受到重视 很多人曾经认为没有必要设置情报学专业，甚至网络中有人将情报学列入 20 个无用的专业之一。但是在大数据时代，任何一个行业想在海量数据中进行“淘金” ，都需要情报工作人员的介入，事实验证情报学的一些比较成熟的研究方法是其他专业不能比拟的，在情报学对数据挖掘的能力面前，曾经看着无用的垃圾信息将会是揭示某种规律的关键性信息。 情报学专业在大数据时代应该抓住机遇展现自身的优势，顺应潮流发展，让更多的人看到情报学专业的闪光点，进一步对学科建设进行完善，使情报学充分的与数学、经济学、心理学等其他学科结合起来，从而使情报学更为成熟，成为数

17、据挖掘和数据分析中的领头羊。 3.3 情报学人才的培养 情报学未来开发新技术，研究新方法无疑是需要更多的人才培养，这就需要更多跨专业人才进入情报学，在招收情报学方面人才时应该更加注重人才在学科中的交叉，不同学科人才的思维方式不同，不同学科9人才的专长不同，不同学科人才所了解的研究方法也是多种多样。未来情报学要抓住大数据时代的契机，对各类人才进行吸收，从而使情报技术更为完善，使研究方法更为广泛。同时现有的情报工作者也要注重自身的培养，与时俱进，多涉及一些其他领域的知识，使自身的研究领域得到更好的完善。 4 结论 综上所述，大数据时代为情报学带来了很多难题，也带来了很多技术和方法上的困难，但与此同

18、时，大数据时代也为情报学带来了更多的发展，机遇。本文从大数据时代背景下情报学发展趋势和面对机遇方面出发，为情报学未来发展提出了建议，希望可以为以后的研究者提供些帮助。 参考文献 1http： （1）. 2What is big dataEB/OL.http： 3Big data in little New ZealandEB/OL.http：www.techday.co.nz/itbrief/news/big-data-in-little-new-zealand/24518/，2013-01-16. 4Intelligence Analysis Today and TomorrowJ.Secu

19、rityChallenges，2009，5（1）：67-83. 5Alan L.Porter，ScottW.Cunninghan.Tech Mining Exploiting New Technologies for Competitive AdvantageM.John Wiley & Sons，2005. 106NSFs Cyberinfrastructure Vision for 21st Century DiscoveryEB/OL.http：www.nsf.gov/od/oci/civ5.pdf，2013-01-16. 7Big data：The next frontier for innovation，competition，and productivityEB/OL.http： 8李广建，杨林.大数据视角下的情报研究与情报研究技术J.图书与情报，2012， （6）：3-5. （本文责任编辑：孙国雷）