数字城市信息资源整合与共享关键技术研究.doc

1、1数字城市信息资源整合与共享关键技术研究摘 要信息资源整合与共享作为数字城市建设的重要内容，可以实现城市数字化资源的合理布局和高效利用。本文以数字城市的资源视角与技术发展之间的关系为出发点，从宏观的角度提出了数字城市资源整合与共享的服务模型，总结了模型工作流程中主要涉及的关键技术，并对这些技术进行了分析和研究。最后对数字城市信息资源整合与共享的发展前景和研究方向做了展望。 关键词数字城市；资源整合与共享；海量数据；元数据；互操作；交互服务 DOI：10.3969/j.issn.1008-0821.2014.02.013 中图分类号TP393 文献标识码A 文章编号1008-0821（2014）

2、02-0062-04 信息资源整合与共享是在数字城市信息资源极大丰富的背景下，针对“信息孤岛”和“资源过载”问题而提出的重要解决方案。它将资源视为一个系统，依据一定的需要和要求，通过各种技术把不同来源和不同通信协议的信息体系有机的融合在一起，使不同类型、不同格式的信息资源实现无缝连接，在实现信息资源结构优化和合理布局的基础上，通过有效的共享机制，最终形成一个具有集成化服务功能的跨平台、跨系统、跨数据库、跨内容的新型信息资源服务体系3-4。它是网络环境下数字城市信息服务向纵深发展的结果，也是当前数字城市集成化信息2服务的主流模式，不仅能实现城市信息资源的合理配置、开放共享和充分利用，保证资源效益

3、最大化，也将为城市的整体、可持续发展提供科学决策的依据，也能够为经济建设、社会发展和广大人民群众生活服务的提高提供有力的保障和支持。 1 数字城市与信息资源 1.1 数字城市的资源视角与技术发展从资源的角度看，数字城市是使城市信息资源成为经济、社会发展过程中最重要的战略资源，并逐渐弱化甚至取代物质和能源的过程。虽然信息资源远不如土地、材料、能源等自然资源易于观察、测量和使用，但却可以有效减少工业化城市对物质资源和能源的过度消耗，解决资源匮乏、环境污染等现代城市问题，进而使城市的经济结构、社会结构和文化结构得到优化与提升5。因此，合理开发与高效利用以信息和知识为主导的战略资源就成了数字城市建设与

4、发展的关键问题。由于资源与人类利用资源的能力是同时成长的，传统技术主要集中于物质与能源的利用，而信息技术则集中于信息资源的开发利用。我们可以清楚地看到，信息技术的快速发展，不仅丰富了信息资源的理论体系、深化了信息资源的内涵，同时在信息技术发展的不同阶段，也反映了不同的资源观念。那么，在数字城市信息资源开发与利用的过程中，将其资源观念与信息技术紧密结合起来，用信息技术支撑资源的开发与利用，用资源观念推广技术应用，最终实现城市信息资源效益的最大化。 2 数字城市信息资源整合与共享的服务模型信息互通与资源共享作为数字城市的灵魂，其目的是在对城市各种信息资源进行有效整合的基3础上，解决数字城市建设中的

5、资源协同共建与社会化共用问题，以创造一个整体互动的信息资源共享环境。由于一个完整的信息服务过程包括信息资源、信息服务方式和用户 3 个相关的主体，因此，应在协调处理好这 3 个相关主体关系的基础上，以数字城市的资源特征与用户需求为指导，以数字城市的内容与框架6为依据，本文将从宏观的角度构建数字城市资源整合与共享的服务模型（图 1） 。图 1 数字城市信息资源整合与共享的服务模型 从图 1 可以看出，整个服务过程是以信息资源为基础，围绕用户的资源需求展开服务的。为了实现资源的整合与共享，首先，资源提供者通过网络以不同的方式提交各类信息资源；其次，对提交的信息资源进行分析处理，将分散、动态、异构的

6、网络资源按照一定的标准转换为有序、准确的结构化资源；第三，提取表达资源属性特征的元数据，用形式化语言进行描述，并确定资源之间的相互关系，以对资源按照不同的共享需求进行有效的组织和管理；第四，根据用户的资源需求，从信息资源目录数据库获取所请求资源的元数据，并根据资源的相关信息，通过 Web Services 对分布式资源进行集成，并构建各种服务应用，从而实现数据级和应用级的信息资源共享与重用。以上流程涉及多方面技术的应用，包括网络通信、数据处理、信息安全等基础支撑技术，也包括了数据标准化、数据交换、数据融合、互操作等应用服务技术，这些技术的综合应用为数字城市信息资源的整合与共享提供了必要的技术支

7、持。 2 资源整合与共享的关键技术 2.1 基础支撑技术 42.1.1 网络通信技术网络通信技术使得人与物可以通过网络进行连接，而有线网络向无线网络和移动无线网络的发展，进一步增强了无时和无处不在的信息通信能力。通信技术的核心对象是消息（Message） ，消息是信息的容器，可以包括内容和指令。从面向对象的技术角度，消息是发送给对象的，并发出一个活动请求。消息可以由事件触发，网络通信技术的发展将促进网络技术架构向事件或消息驱动模式迁移，为数字城市的数字模型的动态驱动或消息（事件）驱动机制奠定基础。很明显，网络通信技术不仅为数字城市的网络基础设施提供了基本的技术支持，同时其支持异构环境、高效的统

8、一消息系统也将成为数字城市的关键技术。 2.1.2 信息安全技术信息安全技术就是保护信息网络的软硬件设施、信息系统和信息平台中的信息资源免受各种类型的干扰、威胁、破坏、篡改和泄露的安全保障技术。但随着互联网应用的快速发展，信息安全不仅深入到众多领域，同时其内涵也不断地延伸，从最初的信息保密性发展到信息的完整性、可用性、可控性和不可否认性，进而又发展为“攻（攻击） 、防（防范） 、测（检测） 、控（控制） 、管（管理） 、评（评估） ”等诸多方面。对于数字城市而言，信息作为一种城市资源，不仅具有普遍性、可处理性、多效用性、共享性和增值性等特点，对于数字化时代的城市具有特别重要的意义，而且其安全性

9、也是数字城市实施成败的关键因素之一。因此，为了构建一个完整的、可控的、共建共享的、自主创新的数字城市安全运行应用系统就需要从标准规范、风险评估、设置安全基线、制定方案、实施准备、实施监控、策略调整等全过程进5行分析和设计，并恰当而有效的解决信息安全与信息共享的关系问题，以最大程度的满足信息的公众化服务需求。 2.2 数据处理技术 2.2.1 海量数据存储技术海量数据存储技术是对海量数据进行快速、高效地存取、运算和传输的技术，它是实现和支撑数字城市的重要技术基础。从存储设备来看，以磁带、光盘、硬盘 3 种存储介质为基础，磁带机、光盘库、磁盘阵列是目前常用的海量存储设备，而固态存储和全息存储则是未

10、来高速海量数据存储的重要发展趋势。从数据存储的模式来看，海量存储技术可以分为 DAS（Direct Attached Storage，直接附加存储）和网络存储两种，其中网络存储又可以分为 NAS（Network Attached Storage，网络附加存储）和 SAN（Storage Area NetWork，存储区域网络） 。而从数据存储系统的组成上看，无论是 DAS、NAS 还是SAN，其存储系统都是以磁盘阵列为基础，通过连接和网络子系统实现一个或多个磁盘阵列与服务器之间的连接，并在系统和应用级上，利用存储管理软件实现多个服务器共享、防灾等存储管理任务。具体的技术解决方案包括硬件方案和软

11、件方案两种，硬件方案是通过采用高性能的并行计算机，通过多个 CPU 的并行计算来提高数据处理的速度，而软件方案则是通过采用基于小波变换的算法，对数据的高效压缩与解压来提高数据处理的效能。此外，针对海量数据传输问题的解决方案也有两种，一种是数据组织的解决方案，是通过采用分布式存储管理，将集中式数据存取转化为分散式数据存取来提高数据存取的效率，另一种是通讯网络的解决方案，是采用超高速光纤网，通过大幅度增加通信信道的带宽来提高数据传输的速率。以上各种技术解决方案，仅单一地运用其功能6和作用都是很有限的，只有将它们综合起来运用才能发挥最佳的效果。 2.2.2 元数据及标准化技术元数据（Metadata

12、）是关于数据的数据，通常采用结构化、规范化或标准化的方法对数字化资源进行标识。在数字城市信息资源的组织和控制中，元数据可以被定义为“提供关于信息资源或数据的一种结构化的数据” ，它不仅可以为各种形态的数字化信息单元和资源集合提供规范、普遍的描述方法和检索工具，有效实现信息资源的组织、管理、挖掘和查询，而且也为分布的、由多种数字化资源有机构成的信息体系提供整合的工具与纽带。作为信息共享的核心标准之一，建立元数据的主要任务是制定元数据标准、开发元数据的操作工具和建设元数据库8。信息标准化则是指通过应用相应的标准和语义格式将各种结构化、半结构化的数据，甚至是零散的数据内容转化为标准化和结构化的形式来

13、存储。而在元数据的基础上要实现数据的标准化和结构化，其核心就是建立标准化的数据描述符，即使用定义描述语言（DDL）对元数据元素和结构进行定义和描述。XML 作为当前互联网通用的标准化的 DDL，既是一种语义、结构化标记语言，又是一种元标记语言。XML 主要包括 3 个元素：DTD、XSL 和 XLL。DTD（Document Type Definition）描述了包含在任何 XML 词汇中的部件和准则，定义了组成词汇的元素、标记、属性，提供了用 DTD 写成的文档中的实体清单以及相互关系。XSL（eXtensible Style Language）用户将 XML 数据翻译为HTML 或其他格式

14、的语言，主要负责解决 XML 的格式化和可视化问题。XLL（eXtensible Linking Language）提供了不受文档制约，完全按照用户要求来指定和管理的 XML 文档之间的链接。由此可见，XML 通过采用7统一的、开放的、简单而灵活的标准格式，为 Web 应用提供了一种描述和交换数据的有效手段。很明显，数字城市中的信息要满足共享和互操作的要求，必须具有统一性的数据。在数字城市信息资源整合与共享的平台环境下，元数据是数据的生产者、管理者和使用者沟通的桥梁，而将 XML 应用于数字城市信息标准化的实现，不仅能改善和提高信息资源的控制效率，也将有效解决资源整合与共享层次上的跨平台语法互

15、操作问题。 2.2.3 数据仓库数据仓库是一种新型的数据库应用技术，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源和决策的需要而产生的，它不是所谓的“大型数据库” ，而是研究和解决从数据库中获取信息的问题，更侧重于数据的分析和决策支持。由于数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对又稳定性的数据集合，主要用于对管理决策过程的支持，因此数据仓库的主要任务和工作流程可简单描述为：首先，将空间上分散的来自于不同操作型数据库中的内容不同、类型不同、结构不同、格式不同的原始数据抽取出来，进行标准化、过滤与匹配、净化等加工处理；然后，根据不同的主题，再对这些数据进行集成与分

16、割、概括与聚集、预测与推导、翻译与格式化等组织化处理；最后进行数据仓库的建模、数据的概括、数据的聚集、数据的调整与确认、建立结构化查询和创建词汇表，形成高质量的、且相对稳定的决策分析数据8。很明显，数据仓库技术就是从不同数据源集成数据，并进行整理、加工和综合，最后利用各种数据分析技术挖掘数据当中的规律，为决策者提供帮助的过程。它不仅是数字城市整合信8息资源的重要载体，也是数字城市实现信息共享的基础平台，对于数字城市的建设具有十分重要的支撑作用。 2.2.4 Web 数据挖掘 Web 数据挖掘是数据挖掘技术在 Web 环境下的应用，是一个从大量的 Web 文档集和活动中提取隐含在其中的、未知的、

17、但又是潜在有用的信息和模式，归纳推理，预测用户行为，帮助决策者做出正确决策的过程。该技术不仅能够实现从网络文档和服务中发现和提取信息，也可以实现对 Web 存取模式、Web 结构和规则、以及动态 Web内容的查找，因此在确定权威页面、文档分类、日志挖掘、智能查询、建立 Web 元数据库等方面有着重要的作用。在数字城市信息资源管理的实际应用中，Web 数据挖掘具有处理的数据规模庞大、不能形成精确的查询要求和需要随时对规则进行更新等特点，其处理流程为：确定任务：清晰的定义出任务问题，确定数据挖掘的目标；获取数据源：根据任务需求，从 Web 资源中提取相关数据，形成目标数据集；信息选择与预处理：检查

18、目标数据集中数据的完整性和一致性，去噪声、填补丢失的域、删除冗余数据、精选有效数据，并将数据转换成分析和挖掘的有效形式，以发现有用的参数或模型；模式发现：根据任务要求，对预处理后的数据进行自动挖掘和模式发现，找到普遍模式和规则，并用一定的方法将其表述成用户易于理解的形式；模式分析：解释和评估发现的模式，有需要时可返回以上某些步骤反复提取；知识表达与应用：将发现的、经过分析得到的知识以一定的方式集成到业务应用系统的组织结构中去。 2.3 共享与集成服务技术 2.3.1 信息资源目录信息资源目录是支撑数字城市集成化信息服务9构建的技术基础，它以元数据为核心，以各种业务的分类表和主题词表为控制词表，

19、按照统一的标准规范，对分散的各级各类信息资源进行整合和网状组织，形成逻辑上集中，物理上分散，可以统一管理和服务的数据资源共享目录体系8-9。针对不同领域的城市信息资源，目录服务可分别采用适用于通用政务信息资源的计算机领域的 LDAP（Lightweight D-irectory Access Protocol，轻量目录访问协议）目录服务，或者针对空间信息资源的空间信息领域的 OpenGIS 的 Catalog Service 协议的目录服务10。前者支持共享信息资源目录内容的编目、注册、发布、查询和维护；后者则在目录中存储空间信息资源的元数据信息，并通过Catalog Service 实现异构

20、空间信息资源的目录发布，以及帮助用户和应用程序便捷、准确地找到所需要的空间数据。很明显，信息资源目录作为一种信息组织方式，更作为一种从分类、主题、应用等多个角度对城市信息资源进行管理、识别、定位、发现、评估与选择的工具，将很好地解决资源提供者和使用者之间的信息互通与共享问题。 2.3.2 互操作技术虽然元数据及标准化技术可以满足同一领域数据描述的需要，但在不同领域，却存在元数据格式种类繁多，相互之间缺乏有效的互操作机制的问题。所谓互操作是指一种能力，可以使分布式异构环境下的多个实体通过相关信息的数字化交换，能够协调工作，从而完成一个具有共同目标的特定任务。因此，作为信息共享和系统集成的基础，互

21、操作为了达到“平台和编程语言之间交换和共享数据”的目的，就需要对运行环境、应用程序和处理对象等实体按照不同的层次实现互操作，具体包括：硬件、网络和操作系统层次的底层互操作，主10要解决各通讯协议之间的接口问题；数据、信息、系统层次的互操作，主要通过建立数据结构、格式、语法、语义等标准规范和服务过程、组合、发现等体系规范，来解决异构数据之间的转换问题；应用软件层次的互操作，主要解决在网络环境下各种平台软件和应用软件的操控、协调处理数据和信息交互的问题。实现的主要技术有动态数据库访问技术、Web Service 技术、通用服务中间件技术、资源元数据获取与选择技术、开放资源互操作协议 OAI、分布目

22、录信息存取协议 LDAP、分布式系统简单对象访问协议 SOAP，以及实现异构资源互操作的 Z39.50 协议和建立开放信息资源及动态服务链接的 OpenURL 协议等11-12。这些技术和协议的综合应用，是“数字城市”实现信息共享和系统集成的重要技术途径，不仅能建立异构信息系统之间的互操作、而且能实现数字城市跨系统的资源多方位链接和整合。 2.3.3 基于 Web 的交互服务交互服务在数字城市信息资源整合的基础上，可以将其理解为以用户为中心的信息互动服务模式。交互服务的实现可以通过社会计算、P2P、开源软件等方法。社会计算（Social Computing）是社会行为与计算系统相结合的产物，通过计算系统支持各种社会行为，基于软件与技术构建或重建社会规约与社会环境。主要应用包括 Blog（博客） 、Wiki（维基） 、RSS（简单信息聚合） 、SNS（社交网络服务） 、Tag（社会书签） 、AJAX 等。其中，Bolg 提供了与用户个人交互的基本手段；Wiki 和 Tag 不仅能聚合集体智慧，而且还能通过建立信息共享平台来方便、快捷的实现群间交互；RSS 作为一种重要的“推送”技术，可以解决信息交互中的延时问题，并能实现信息资源的聚合与主