科学数据网格进展-China-VO.ppt

1、科学数据网格进展,中科院计算机网络信息中心周维2005.11,背景介绍 科学数据网格应用服务介绍,立项: 863支持的“高性能计算机与核心软件”重大专项的应用网格项目（20022005）;主要基础: 科学数据网格的建设以中国科学院科学数据库;目的:是科学数据库数据资源的基础上，通过网格计算的相关技术，特别是数据网格技术，促进科学数据库中大量分布式异构数据资源的共享，并在此基础上开发对科学研究有直接实用意义的应用系统,科学数据网格项目背景介绍(一),组成：网格信息服务系统科学数据网格数据访问服务科学数据网格存储服务开发的一些实用的工具，如：通用数据管理工具、数据目录管理工具、数据量统计工具、通用

2、元数据管理工具、访问控制工具等。,主要研究内容：构造科学数据网格的系统平台;开发科学数据网格所必需的中间件软件;开发科学数据网格的示范应用系统(包括: 虚拟天文台)，并在这些研究工作成果的基础上，提出一种科学研究领域的网格应用框架，争取成为领域内的网格应用标准。,科学数据网格项目背景介绍(二),科学数据网格主要软硬件环境,硬件超级数据服务器（已安装）海量存储系统（已安装）磁带库系统 （正在采购）外联交换机（正在采购）软件数据库管理系统（正在采购）并行数据库管理系统 （正在采购）数据备份软件 （正在采购）,超级数据服务器深腾68002,59个结点（ 4-way 安腾2 ）；20TB盘阵；2Gbp

3、s网络出口,超级数据服务器深腾68001,PC机群系统IA64结点总数59个每CPU内存2GB以上每结点局部存储73GB以上每结点具备千兆以太网端口总计算能力达1TFLOPS对外网络连接2Gbps支持主流并行数据库支持 Linux 和 Windows,超级数据服务器深腾68003,2个数据库服务结点并行Oracle10G数据库2个文件/存储服务结点基于GSI的FTP服务器文件I/O结点22个外部结点（应用服务结点）SQL Server、Mysql数据库等Apache、Tomcat、IIS等GT3运行环境等,科学数据网格应用服务介绍,科学数据网格存储服务2.科学数据网格信息服务3.科学数据网格数

4、据访问服务,科学数据中心存储软硬件环境6800 NodeSAN存储设备Oracle10G磁带库科学数据中心存储服务文件存储服务数据库服务,科学数据网格存储服务部分,海量存储系统 (一),数据中心的在线存储系统采取基于存储网络（SAN）的磁盘阵列系统。其他节点采取直接连接服务器的磁盘阵列;存储科学数据，为科学数据库提供数据存储空间。,海量存储系统(二),Brocade 3900 Fibre SwitchSAN结构全光纤磁盘阵列裸存储容量20TB持续数据传输率（读/写）不小于2GB/s支持RAID5全双工冗余,磁带库系统,正在采购提供数据备份服务（备份在线存储系统数据）完全备份增量备份性能最大存储

5、容量 15TB以上持续数据传输率 150MB/s以上驱动器数目不小于 10个磁带容量不小于 100GB,软件系统,数据库管理系统SQL Server Enterprise 2000 (64 bit) 正在采购并行数据库管理系统Oracle 10g RAC for IA64 (8CPU)正在采购数据备份软件Veritas等正在选型,GSI安全框架,科学数据中心存储服务架构图,存储系统（Storage System）,操作系统（OS）,其它服务,数据库服务,上网服务,文件服务,用户,备份,文件存储服务(一),为给各建库单位提供安全而有效的数据存储服务，并且提供数据存储管理功能以及配额管理功能。用途

6、存储科学数据存储资源缺乏的建库单位数据备份需要大数据量备份工具SSTools、Ftp,文件存储服务(二),数据提供/服务方式远程数据传输基于GSI的FTP上传机制（SSTools）本地数据传输光盘硬盘其它远程方式协作方式EmailFTP共享目录10月初提供服务所有上述各种方式,数据库服务(一),为科学数据库（各建库单位）提供安全而有效的数据库服务。用途提供数据存储服务提供数据库服务接口日常备份（磁带库）数据库种类（不断增长）OracleSQL ServerMySQL,数据库服务(二),数据提供方式远程数据传输（SSTools）本地数据库导入光盘硬盘协作方式文件存储服务（上载数据）数据中心管理人

7、员导入数据服务方式提供数据库接口Oracle 1521端口MySQL3306端口提供数据库备份接口10月份提供服务Oracle10GSQL Server,科学数据中心文件存储服务(二),数据中心,基于GSI的FTP服务器,SAN,1-远程数据传输2-协同工作3-本地数据传输,用户,科学数据网格信息服务,目的: 实现科学数据网格信息的集中高效管理 提供数据网格资源状态信息 提供数据资源的元数据信息。,服务信息注册权限的获取,服务信息注册地址：http:/ 2.0）,数据访问服务,数据访问服务是一个符合OGSA定义的网格服务。访问异构数据库的接口是一致的。用户不需要关心专业子库使用的数据库管理系统

8、、操作系统和平台的技术细节，通过数据访问服务统一的接口就可以访问专业子库，按照用户的要求获取满足条件的数据。DAS介于数据用户和物理数据库系统之间，对物理数据库进行封装后，对外提供数据访问的网格服务接口。,支持的关系数据库管理系统的类型包括：Oracle 8、Oracle 9i、SQL Server2000、Mysql 4,系统结构示意图,数据访问网格服务的使用,通用Web检索前端DataViewDAS网格服务的客户端通过调用网格服务访问数据库资源。建库单位或最终用户，基于DAS网格服务开发应用系统。,服务信息的注册,最终用户怎么用？,3a. 用户提交查询请求（sql等）,3c. 返回XML格式的查询结果给用户,注册服务SDGFinder,元数据服务,数据服务,用户,关系数据库,http:/ 昆明动物所 广州地化所 不稳定 大气物理所 过程所 高能物理所 东北地理所 上海有机所 广州能源所 南京湖泊所 新疆生地所 动物所 北京地理所 国家天文台 微生物所,正在部署的建库单位: 金属所 成都山地所 海洋所 武汉病毒所 长春光机所 寒旱所,http:/,http:/,谢谢！,