1、国内外元数据研究与应用的现状和发展趋势,刘炜上海图书馆,元数据加工与应用技术研讨班 2004 上海,元数据加工与应用技术研讨班 2004 上海,目录,元数据一般概念国外元数据研究与应用的历史与现状国内元数据研究与应用的历史与现状趋势与问题关于DC-2004,元数据加工与应用技术研讨班 2004 上海,元数据一般概念,定义来源作用分类模型,思考:元数据概念早已有之,为什么现在会非常热门?固然MARC是一种元数据格式,但是它与“现代”元数据究竟又什么大的区别?,元数据加工与应用技术研讨班 2004 上海,元数据定义,“meta”来自古希腊语,意思是更高层次或更基本的概念关于数据的数据(data a
2、bout data)关于数据的结构化数据(structured data about data)用于描述数据的内容(what)、覆盖范围(where, when)、质量、管理方式、数据的所有者(who)、数据的提供方式(how)等信息的数据,是数据与数据用户之间的桥梁资源的信息 (Information about a resource)编目信息 (Cataloguing information)管理、控制信息(Administrative information)是一组独立的关于资源的说明(metadata is a set of independent assertions about a
3、 resource )定义和描述其它数据的数据(data that defines and describes other data (ISO/IEC 11179-3:2003(E))Metadata在台湾被译作“元资料”、“诠释资料”、“后设资料”、“文后资料”、“超资料”等多种名称。,元数据加工与应用技术研讨班 2004 上海,来源,计算机/数据库领域网络信息标注/检索进一步发展:机器对于语义的理解和处理(语义万维网),元数据加工与应用技术研讨班 2004 上海,元数据的作用,元数据的主要功能是定位(location)、寻找或发掘(discovery)、存档(documentation)、
4、评价(evaluation)与选择(selection)等五大功能*;其他作用:链接与交互关系的体现(linkage and interactive relationship management)、整合XML、RDF与Z39.50不同协议的应用等;描述、检索、选择、定位、管理、评估与交互等功能*。,*来自于欧洲DESIRE(Development of a European Service for Information on Research and Education)计划的元数据分析报告*北大数字图书馆研究所的研究报告,元数据加工与应用技术研讨班 2004 上海,不要迷信元数据,任何“
5、元数据”都代替不了数据本身一个元数据的记录总是一个“信息容器” 的附属品不管这个信息容器的内容在结构上被分解为多小,多深不管有多少个主题特征被放到一条数据上在当前的元数据标准中,有关主题内容的元数据元素总是十分有限这需要Ontology来补充频度、统计以及其它纯抽象数学因子作为元数据有时可能取得非常好的查询效果,元数据加工与应用技术研讨班 2004 上海,元数据的分类,根据元数据中的元素所描述、揭示的语义来划分的:,元数据加工与应用技术研讨班 2004 上海,元数据分类,元数据加工与应用技术研讨班 2004 上海,描述性元数据的分类,描述能力,低,高,元数据加工与应用技术研讨班 2004 上海
6、,元数据模型,RDF数据模型(及Warwick框架)(赵亮21日下午介绍)OAIS参考模型(王松林21日上午介绍)FRBR功能/生命周期模型DCMI抽象模型(DCMI元数据方案抽象模型)(22日下午介绍)数字图书馆体系结构模型,元数据加工与应用技术研讨班 2004 上海,元数据模型:三位一体,在语义、结构和句法三方面分别达成一致语义通过属性元素(部分通过编码/置标方式)表达结构语义的抽象载体,通过框架/容器来表达,要求做到人类与机器均可读句法/语法具体的置标/编码方案(如XML/METS/ MODS/RDF/XMLS/RDFS/OWL等),传达语义和结构,元数据加工与应用技术研讨班 2004
7、上海,FRBR模型,Functional Requirements for Bibliographic Records,元数据加工与应用技术研讨班 2004 上海,元数据生命周期,元数据加工与应用技术研讨班 2004 上海,数字图书馆体系结构模型,元数据加工与应用技术研讨班 2004 上海,元数据与数字图书馆,元数据决定了数字图书馆的体系结构,主要解决两个问题:定义数字图书馆中数字对象的信息结构定义由数字对象构成的资源库的组织结构数字对象是数字图书馆中存储信息的基本逻辑单位,它进一步决定着的信息组织处理和利用方式、资源库的组织结构,提供了统一的互操作。元数据方案是数字图书馆建设的重要组成部分,
8、体现在数字图书馆开发的各个环节中存储检索发布管理,元数据加工与应用技术研讨班 2004 上海,国外情况,概况项目情况标准化情况研究与应用特点值得借鉴之处,元数据加工与应用技术研讨班 2004 上海,元数据标准举例,按元数据应用的学科领域,则可以进行如下划分 :传统图书期刊,如:MARC等。 网络资源,如Dublin Core、IAFA/WHOIS+ Templates、LDIF(LDAP Data Interchange Format)、SOIF(Summary Object Interchange Format)、URCs(Uniform Resource Characteristics/C
9、itations)等。 政府信息,如:GILS(Government Information Locator Service,政府信息定位服务)、DC-Gov(DC-Government Application Profile,DC政府应用纲要)等。 科技文献,如:ibTEX、EELS(The Engineering Electronic Library,工程电子图书馆元数据)、EEVL(The Edinburgh Engineering Virtual Library,爱丁堡虚拟电子图书馆元数据)、RFC1807等28。 人文及社会科学资源,如:TEI Header、ICPSR SGML C
10、odebook Initiative等29。 教育资源:IEEE LOM(Learn Object Medle,学习对象模型)、GEM(GEM Element List,GEM元数据)、DC-Ed(DC-Education元数据)等。博物馆藏品或特藏,如:CDWA(Categories for the Description of Works of Art,艺术作品描述目录)、CIMI(Computer Interchange of Museum Information)CIMI、 VRA Core(Visual Resources Association Core,可视资源核心类目)、REA
11、CH元素集等。 保存型元数据方案:CEDARS、NLA、NEDLIB地理空间资源,如:FGDC/CSDGM等 手稿档案保存类,如:EAD等网络多媒体及版权管理:INDECS,元数据加工与应用技术研讨班 2004 上海,简介,1.DC(都柏林核心元数据)2.CDWA(艺术作品描述目录)3.VAR Core(可视资源委员会核心元数据)4.CDF(频道定义格式)5.ROADS元数据(主题信息服务的资源组织和发现)6.IEEE LOM(IEEE学习对象元数据)7.BibTex(科技文献书目资源格式)8.GEM(教育资源网关)9.CIMI(博物馆信息计算机交换标准框架)10.REACH元数据格式11.E
12、AD(编码文档描述)12.ONIX(在线信息交换)13.EELS(工程电子化图书馆)14.EEVL(爱丁堡工程虚拟图书馆)15.FGDC(联邦地理数据委员会)16.GILS(政府信息定位服务)17.MARC(机读目录格式),18.MOA2(美国的创建II)19.MCF(元内容框架)20.PICA+(荷兰图书馆自动化中心)21.PICS(网络内容选择平台)22.TEI Header(文本编码先导计划)23.SOIF(概略对象交换格式)24.IAFA/WHIOS+Templates(因特网匿名FTP文件库版式)25.ICPSR SGML Codebook(政治和社会研究方面的校际联盟)26.LDA
13、P DIF(轻便型目录获取协议)27.RFC 1807(书目记录格式)28.URCs(统一资源特征)29.SGML(通用标准标记语言)30.Warwick Framework(Warwick框架)31.Web Collections(网站集合)32.XML(可扩展标记语言)RDF(资源描述框架) ,元数据加工与应用技术研讨班 2004 上海,IFLA推荐方案,应包含的核心元素 主题 Subject 日期 Date 使用条件 Conditions of use 出版者 Publisher 资源名 Name assigned to the resource 语种/表达方式 Language/mod
14、e of expression 资源标识符 Resource identifier 资源类型 Resource type (i.e., what the resource is, rather than what it is about) 作者/创建者 Author/creator 版本 Version,见:Guidance on the Structure, Content, and Application of Metadata Records for Digital Resources and Collections: Report of the IFLA Cataloguing Sec
15、tion Working Group on the Use of Metadata Schemas (2003 Oct 27),元数据加工与应用技术研讨班 2004 上海,国内情况,概况历史项目与研究应用情况趋势与展望值得关注的课题图书馆员的角色,元数据加工与应用技术研讨班 2004 上海,国内元数据研究与应用概况,国内的研究与应用:数字化项目的需要,例如国家图书馆、中山图书馆等;数字图书馆开发与建设的需要,如有关数字图书馆项目、国家863项目等;国外元数据跟踪研究和应用的成果近来新呈现的特点注重体系化的研究,通过对系统架构的研究,建立信息系统模型(生命周期模型、数据流模型、应用相关模型等)。
16、注重具体应用环境和实现的研究。注重标准体系的建立(一整套标准规范和可操作的文档)。,元数据加工与应用技术研讨班 2004 上海,历史,1997年“试验型数字图书馆”项目OCLC的引介、推动国图及中山图书馆元数据方案北大元数据方法论上海图书馆“第一届国际元数据研讨会”上图的元数据跟踪及应用,元数据加工与应用技术研讨班 2004 上海,国内元数据项目与应用研究情况,国家图书馆中文元数据方案北京大学图书馆(拓片和敦煌古卷)清华大学(建筑)中科院文献情报中心我国数字图书馆标准与规范建设项目(CDLS)中山图书馆“数字式中文全文文献通用格式”中国可持续发展信息共享示范系统*教育信息源数据标准*上海图书馆
17、应用研究情况,*参见:http:/ 全国信息技术标准化技术委员会教育技术分技术委员会发布的有关教育信息元数据标准,元数据加工与应用技术研讨班 2004 上海,国家图书馆,国家图书馆(NLCN)于1991年3月成立了文献数字化中心,主要从事国家图书馆内部文献的加工生产,2000年10月划入中国数字图书馆有限责任公司范围,承担中国数字图书馆工程中的资源建设任务,现已经为中国数字图书馆提供中文图书20万册,7000万页、缩微胶片200万拍、金石拓片6000张等数字资源 。另有:甲骨影像及拓片资源库;西夏文献数字资源库;中文拓片资源库;国际敦煌项目(敦煌及其他遗址出的十万余件写卷,可以在互联网上免费获
18、得高清晰度的数码图像,与之相联的有书目,地图,照片,遗址图等其他有关历史,现状等信息,使学者,学生,平常老百姓能由此深入了解公元一千年丝绸之路上的社会生活状况 )。2002年12月,“国家图书馆二期工程暨国家数字图书馆工程”项目立项申请书通过国务院批准,程总投资123,500万元;基于OAIS参考模型的保存性元数据方案“中文元数据方案 ”,元数据加工与应用技术研讨班 2004 上海,中文元数据方案,元数据加工与应用技术研讨班 2004 上海,中国高校系统:以北京大学为代表,基于专门数字对象的元数据标准古籍元数据标准(第4版)拓片元数据标准(第6版)舆图元数据标准(第1版)学位论文元数据标准(第
19、2版)人物元数据标准(第1版)电子图书元数据标准(教学参考书)(第1版)网络资源元数据标准(第1版)其它,参见示例,元数据加工与应用技术研讨班 2004 上海,元数据加工与应用技术研讨班 2004 上海,中国科学院文献情报中心,国家科学数字图书馆预研项目后续项目:“科技基础性工作专项资金重点项目我国数字图书馆标准规范建设”,元数据加工与应用技术研讨班 2004 上海,完整的框架体系,注:本页内容来自张晓林教授有关元数据的演示稿,元数据加工与应用技术研讨班 2004 上海,基于生命周期的元数据开发应用框架,元数据加工与应用技术研讨班 2004 上海,回目录,中国可持续发展信息共享示范系统,元数据
20、加工与应用技术研讨班 2004 上海,基础教育教学资源元数据规范,编入教育信息化技术标准CELTS-42 ;与IEEE LOM和IMS相一致;与DC联系密切(以DC为核心)体系完整,元数据方面已包括三个规范:CELTS-3.1(CD1.6)学习对象元数据2002-09-05CELTS-3.3(CD1.6)学习对象元数据实践指南2003-01-07CELTS-3.4(WD1.0)学习对象元数据测试规范2003-01-07建立了运作机制和认证体系,参见示例,元数据加工与应用技术研讨班 2004 上海,上海图书馆,上海图书馆于1997年启动了古籍数字化项目(数字化数量共计3223种一、二级藏品130
21、万页)。 ,1998年开始进行历史文献和特色馆藏的抢救性整理和数字化工作。1999年是上海图书馆进行大规模数字化的一年,这一年一共进行了7个数字化项目。上海数字图书馆是一个综合了七个资源库的网上图书馆,拥有数据近200GB,主要是扫描的影像数据。系统采用IBM Digital Library version 2.4作为主要开发工具应用平台。元数据方案采用以DCMES作为核心集、多种元数据方案并存的“元数据应用纲要”形式,以基于XML的RDF为基础的编码方式封装在一起,保证了原始素材内容管理中元数据的完整性与互操作能力。 目前正在修改完善一整套元数据规范、方案和方法。上图德元数据规范和方法正在应
22、用于上海图书馆正在建设的古籍数字图书馆、拓片资源的数字化、家谱数字图书馆、名人手稿数字图书馆等。,元数据加工与应用技术研讨班 2004 上海,上图元数据方案设计流程,元数据加工与应用技术研讨班 2004 上海,趋势展望,趋势:作为计算机语义处理(语义Web)的基础;脱离图书情报的元数据;图书情报在哪些方面可以有所贡献国内:学习与借鉴;现有问题的解决;作为数字图书馆解决方案的构建,元数据加工与应用技术研讨班 2004 上海,值得关注的课题,方法论模型(如前所述)几个重点和趋势:元数据注册体系应用方案(AP)的概念和形式化保存性元数据权限管理元数据,元数据加工与应用技术研讨班 2004 上海,图书馆员的角色,领域内容专家/信息组织专家/计算机专家三位一体;技术与应用的桥梁;完善知识体系结构构建元数据方案和知识本体,元数据加工与应用技术研讨班 2004 上海,DC-2004,会议概况(日期、地点、参加者、会议形式、主要内容);征文(主题、要求);DC会议的简要历史、网站链接(将在22日下午介绍),元数据加工与应用技术研讨班 2004 上海,参考资料,http:/www.ifla.org/II/metadata.htmhttp:/www.ukoln.ac.uk/metadata/张晓林元数据研究与应用北京图书馆出版社吴建中DC元数据上海科技文献出版社刘佳元数据导论,