没有幻灯片标题-ChineseVirtualObservatory.ppt

1、高性能计算机与网格李国杰中科院计算所,高性能计算机发展趋势,高性能计算机研究开发现状,美国较全面：系统、软件、应用的研制和部署欧洲的强项则是高性能计算机的使用 日本地球模拟器：2002，40 Tflop/s美国ASCI：2004，100 Tflop/s美国的预研阶段计划Petaflops(1000 Tflop/s)和Ultrascale(10000 Tflop/s)IBM的高性能计算机研究:Blue Gene (1000 Tflop/s, 2004)Blue Light (360 Tflop/s, 2004)2000-2005年期间，每年投资1亿美元购买高性能计算机，用于科研。1993-200

2、1，Top500的总计算能力增长了90倍，平均每年增长75.6%，大大高于摩尔定律的增长率,高性能计算机发展趋势,摩尔定律趋势（I/O瓶颈）网格与普遍计算趋势开放性趋势动态复杂性趋势总拥有性能价格比趋势商品化和标准化趋势好用性与平民化趋势,微处理器Roadmap,摩尔定律趋势,摩尔定律可能持续到2020年指数率：芯片密度、主频、速度，内存容量、 网络带宽超指数率：硬盘容量、网络带宽； 线性改善：延迟、内存存取速度CPU = Memory = I/OFran Berman: 21世纪头十年是“数据年代”高性能计算机的峰值性能价格比遵循摩尔定律2000年大约为每亿次浮点运算速度20004000美元

3、2005年将会改善至每亿次浮点运算速度250500美元,摩尔定律和新摩尔定律,CY95,CY07,CY05,CY97,CY99,CY01,CY03,Log Growth,100,10,000,1 M,Chip Performance,2X/18 months,LAN/WAN Bandwidth,2X/6 months, 芯片性能（集成度）每18个月翻一番 互联网骨干网的带宽每6个月至9个月翻一番,商业模式创新,科学技术创新,Photonics,Electronics,Hardware Cost and Implications,Storages are large and cheap.Info

4、rmation and computing available everywhere.一个晶体管只值10-5美分，不再是重要资源,1990,1980,2002,$400,000/MIPS (Cray-I),$250/MIPS (i860),$4/MIPS or less,.,.,.,制约计算机能力的瓶颈,二十世纪70年代：计算能力（kflops）二十世纪80年代：内存容量（Mbyte）二十世纪90年代：网络带宽（Gbit）二十一世纪：计算能力达到了Tflops（万亿次）、内存容量达到了Tbyte（万亿字节）、网络带宽达到了Tbit（万亿位）瓶颈变成了满足用户多种需求的Petabyte（千万亿字

5、节）海量信息的存储和处理,计算所设计高性能CPU的体会,中国还没有类似Intel的IDM公司，系统设计、电路设计、微电子设计人员与芯片生产厂、服务厂商必须密切合作。应寻求与Intel等大公司合作。不要过分强调通用与嵌入式CPU的区别，通信与流媒体处理需要很高性能CPU而且市场很大（通用）必须有一批精通CPU原理的人进行微体系结构创新尽量利用先进EDA工具，到最先进的生产线流片。采用IP软核或标准单元最多只能做到商用芯片一半性能我国发展高性能CPU当前的瓶颈是缺乏适合国内生产厂工艺的IP硬核库，国家必须尽快重点支持。成功的关键是COT（Customer Owned Tooling）,高性能计算机

6、发展趋势,摩尔定律趋势（I/O瓶颈）网格与普遍计算趋势开放性趋势动态复杂性趋势总拥有性能价格比趋势商品化和标准化趋势好用性与平民化趋势,普遍计算趋势,服务器端=网格，客户端=各种各样的有线或无线终端设备,音响,Notebook,移动电话,数字像机,电话,游戏机,电视,DVD,PC,IP宽带网,结点,结点,结点,结点,数据库信息库,贵重设备,网格,普遍计算趋势,anytime, anywhere, any user, any device, any service 通信、内容、计算、交易、过程、组合服务 企业和消费者=用户主体使用方式趋势：Utility + 服务,高性能计算机的重点转移,计算机

7、的CPU周期（Cycle）已非常便宜80年代：40万美元/MIPS90年代：250美元/MIPS现在：4美元/MIPS网上资源的利用率极低Internet上每年产生的信息达2x1018BYTE每年Internet网上可利用的公用信息只有3x1012BYTE，只占百万分之一。现在关键不是增加CPU Cycle，而是发展Grid技术实现信息资源共享，提高信息资源利用率。美国NSF已不再支持研制单台巨型机，重点支持Teragrid 类型的高性能计算环境。,Changing of NSF Sponsored High Performance Computing Efforts,2001 to 2004

8、: Distributed Terascale Facility (DTF) 4 DTF sites: NCSA, NPACI, Argonne, and Caltech providing aggregated 14+ teraflops and 450+ terabytes. Tasks: - NCSA: 6+ TFs & 240+TBs Linux cluster of Itaniums - NPACI: 4+ TFs & 225+ TBs - Angonne: 1+ TF IBM cluster, grid & viz. software - Caltech: 86 TB on-lin

9、e storage.,Large NSF Sponsored Grid Projects,GIOD (Globally Interconnected Object Databases) global data storage and accesses of particle collider experiments GriPhyN (Grid Physics Network) building global grids for experimental physics studies.iVDgL (international Virtual-Data grid Lab) grids for p

10、hysics/astronomy experiments data-intensive science, US & EU collaborationNEES (Network for Earthquake Engineering Simulation) shifting from physical tests to simulation (20 grid sites),网格已成为高性能计算的主要研究方向,美国联邦政府：2000-2003，已投入约5亿美元TeraGrid,2001-2003, $53M,11 Tflop/s,450TB 加州：2001-2004，3亿美元，信息网格 欧洲：200

11、1-2003,约2.2亿美元UK eScience Grid: 1.2亿英镑IBM Grid Initiative: 40亿美元风险投资：Entropia 约5000万美元,开放性趋势,水平化: 垂直方式 - 水平方式水平化 = 标准化、公开化、开放化美国总统信息技术顾问委员会政府应该在高性能计算领域鼓励开放源码模式网格研究采用开放源码、公开合作的因特网模式Global Grid Forum是网格研究目前主要的合作组织和标准化组织Globus几乎已成为网格系统软件事实上的标准集群计算标准很可能在今后几年出现,动态复杂性趋势,端到端复杂性（end-to-end complexity） 从用户终端

12、设备通过网络到高性能计算机 从应用软件、中间件、系统软件到系统硬件端到端动态性用户的业务需求不断变化 需要高性能计算系统能够高效率地动态变化动态复杂性趋势IBM的eLiza计划提出的“自治计算”中科院计算所的织女星（VEGA）网格计划 “自主控制”、“动态功能部署”、“Late Binding”,总拥有性能价格比趋势,大部分应用常常只能得到5%甚至1%以下利用率 性能价格比 总拥有性能价格比Total Performance/Cost of Ownership性能无关的因素 越来越重要互操作性、可移植性、安全性、好用性、易管理性和高可用性易部署性服务协议等级（Service Level Agr

13、eement）,商品化和标准化,尽量使用商品化部件降低成本、提高性能缩短开发周期提高可靠性Beowulf系统的兴起标准化硬件操作系统编程语言中间件,量产导致简单便宜的标准平台,performance,Stand-aloneDesk tops,PCs,platforms,好用性趋势,格林吉利定律（Gringeleys Law） 电脑系统的研制成本 = O(好用性2)MIT 氧气计划：Human-Centric Computing5年（2000-2004）、$50M、500人 网格可能会大大提高好用性网格应用模式（通信、内容、计算、交易、过程）网格编程模式（网格服务描述语言GSDL）网格浏览器微软

14、Office.Net：网格界面、联接用户和经济,用户最关心的计算机特性-SUMA,Scalability（可扩展性）系统各部分可独立扩展，系统性能随规模接近线形增长Usability (用户友善性）方便使用，人机和谐Maintainability（可维护性）不论规模和复杂性的大小，系统应该只需要最少的人工管理 Availability（可用性）即使软硬件发生故障，系统也应该继续满足服务目标的质量要求曙光计算机的特色-SUMA特色,网格与机群系统（Cluster）,网格技术的由来与发展,网格技术本质上是分布式计算技术，与OSF、CORBA、DCOM、CSCW等技术有密切联系。网格是机群（Clus

15、ter）系统的分布式扩展，网格技术首先在高性能计算领域展开。网格是Server-oriented结构，基于C/S思想，Peer-oriented 系统是与网格互补的思想。全世界有132个Grid网站，333万Grid网页；73个Web Service网站，35万Web Service网页。5990网页同时涉及Grid 和 Web Service 。,超级计算机与超级服务器,Cluster的兴起,ASCI Red (Intel),ASCI Blue Mountain (SGI),ASCI Blue Pacific (IBM),ASCI White (IBM),未来的高性能计算机系统,10万亿次级

16、网格(TeraGrid) 分布式万亿级 (NSF) 13.6 Tflops 计算网格 NCSA, SDSC, Argonne Lab, Caltech $53M, IBM, 第三季度, 2002 Intel-架构 (McKinley) Linux 机群 3300 处理器, Myricom Myrinet, IBM CSM, GPFS 高可视化, 网格工具包 450TB IBM 存储容量 40Gb/s Qwest Network,Why Linux/IA Cluster,极高的性能/价格比平民化的高性能超级服务器CPUIA-32, IA-64：定、浮点能力增强未来主流：Power和IA-64操作

17、系统Linux：UNIX平台、开放源码、非厂商控制丰富的商用硬件与开放源码软件,Linux超级服务器,发展趋势Linux机群正由早期采用阶段向主流阶段发展，由Beowulf向Linux超级服务器发展超级服务器使能(Enabling)技术 RISC架构超级服务器核心技术高性能文件系统高可用软件高度可扩展软件内置管理,Cluster的三种形式,ASCI Machine: SMP/NUMA大结点Cluster + 大量专有软硬件 + 科学计算应用系统提供者+应用提供者（使用者）商品化Cluster: 商品化部件 + 软硬件增值 + 通用应用系统提供者+应用提供者+使用者Beowulf Cluster

18、: PC Server + Linux + Freeware系统提供者（应用提供者）（使用者）,Beowulf Cluster缺乏什么,性能：float point，cache，memory， I/O，interconnect network效率标准一体化系统软件安装、使用、维护难不能解决Great-Challenge应用（生物、核能模拟、SAR、大型仿真、分子动力学、分子化学）不能解决事务处理、数据挖掘应用SUMA特性有限（可扩展性，通用性，可靠性，可用性）,Cluster在中国的发展方向,ASCI系统（国家战略需求）高端需求的通用Cluster平民化/开放化/标准化（Open Cluste

19、r）GridCluster算法和应用（远远落后）呼唤行业应用产业发展,国家高性能计算中心（西安）,国家高性能计算环境,网格下一代Internet应用,第一波 第二波 第三波（1960现在）（1980现在）（1993） 因特网 Web 网格（Grid) 计算机的联通 网页的联通资源的全面联通telnet:/ http:/www grid:/ftp:/mailto:/资源包括： 计算资源 存贮资源 信息资源 知识资源,网格（Grid）是下一波大浪潮,福布斯杂志：市场趋势,信息技术的下一波大浪潮将在20042005年度出现，并造就2005-2020 十五年的黄金时代这个大浪潮将极大地改变我们的工作和

20、生活。到2020年，由此产生的互联网将成长为一个20万亿美元产值的大工业。 信息市场从2000年的1万亿美元增长20倍。这一波浪潮的本质特征，就是万维网（World Wide Web）升华为网格（Great Global Grid）。,IBM的网格远景：现在的计算机,未来：因特网是计算机!,如果整个因特网就是一台计算机，那么.,什么是它的硬件？什么是它的处理器、它的存储器、它的外部设备？它应该采用什么样的体系结构？什么是网格这台计算机的操作系统？什么是它的进程和线程？什么是它的地址空间？如何管理它的资源？什么是网格的编程环境和使用环境？什么是网格的用户界面？什么是网格的程序设计语言？什么是网格

21、的应用？它们有什么样的模式和特征？从用户的角度看，网格与当前的因特网/Web有什么不同？它能提供什么样的独特益处？,网格技术提出的新概念,点播服务及时集成按需通信信息拒绝信息的强共享、次共享和弱共享虚拟组织、虚拟用户、虚拟代理（Agent）,Web Service与Grid走向OGSA,Ian Foster 最近在GGF上发表重要论文:The Physiology of the Grid, 提出OGSA(Open Grid Service Architecture)体系结构 ,New York Time介绍这一思想OGSA是Web Service的自然演进集成现有Web Service技术和O

22、GSA的瞬时Stateful service instance技术, 很小的扩充将明显提高Web Service的功能。,GGG（Great Global Grid）,计算和数据网格,TeraGridIPGGIGASCI GridData Grid,信息网格和知识网格,Semantic WebKnowledgeManagementOntologyInformationPlatform,其它模式,P2PParasitic Computing,网格研究实例（按应用模式划分）,UK e-Science,From presentation by Tony Hey,Cambridge,Newcastle

23、,Edinburgh,Oxford,Glasgow,Manchester,Cardiff,Southampton,London,Belfast,DL,RAL,Hinxton,UK Grid Network,From Tony Hey 27 July 01,863计划网格重大专项预定目标,研制成功国家高性能计算环境（网格）每秒15万亿次规模的共享计算能力100万亿字节（100TB）海量共享数据存储能力部分系统的处理器芯片、计算机硬件、系统软件将采用我国具有产权或能自主控制的产品一批工业、服务业、科学研究、资源环境、国防领域的重大应用投入运行培养5000名技术人才、500名高级人才产生国际标准、数

24、百项发明专利、数千篇高质量论文将高性能计算服务送到科研、企业、政府等各方面用户的桌面上，从而大幅度地提高我国的综合国力和国际竞争能力,经济和社会发展对网格的需求,制造业的“网络化虚拟制造”需求产品研制周期缩短40%，研制经费降低30%金融界的“业务集中”需求降低运行成本和管理成本提高安全性、可靠性、运行效率、服务质量、宏观监控、风险防范 信息服务业的高性能、高质量需求电子政务的“资源共享”和“协同工作”需求能源业的高性能可视化计算、资源共享、系统监控需求资源环境领域的海量数据处理和分析、共享、模拟与预测需求科学研究和技术创新的需求国防需求,现有工作基础,863计划重点部署了高性能计算领域的研究

25、863“国家高性能计算环境”重大项目曙光3000、神威、银河、近10个高性能计算中心（网格结点）初步功能的网格系统软件和一批网格应用软件 中科院计算所、国防科技大学、江南计算所、清华大学、西安交通大学、中国科技大学、华中科技大学等单位，都开展了网格技术的研究 与网络部门、应用部门、地方政府的合作关系,中科院计算所织女星（VEGA）服务网格,超级服务器 服务网格SUMA VEGAVersatile Services（通用服务）通用比专用简单；共性技术 = 交集 Enabling Intelligence（辅助智能）自动、自我、 动态、交互 共性智能支持技术 Global Uniformity（全

26、局一体）连通性 、单一系统映像 、互操作性 Autonomous Control（自主控制）吸引用户自愿参与、公开标准、以人为中心,网格的四层结构,织女星网格运行模型,客户端,网格浏览器GSRLgrid:/,GSRP,网格端,网格服务器,其它服务器,GCP 与 GCSP,网格操作系统 （GOS）,GSIP,网格硬件,GSRL：Grid Service Request LanguageGSRP：Grid Service Request ProtocolGCP： Grid Computing ProtocolGCSP：Grid Common Service PlatformGSIP： Grid S

27、ystem Information Protocol,织女星网格提供的产业共性技术,网格浏览器网格服务请求语言（GSRL）网格服务请求协议（GSRP）网格服务器网格公共服务平台（GCSP）网格路由器其他协议（GCP、GSIP）面向网格的超级服务器网格终端或感知机：面向网格的NC,计算所原始创新之一-网格计算机模型,execute,Computer with Active Memory (CAM),网络的三次浪潮：中国的作用,福布斯杂志预言,“下一代因特网（网格）正在到来，但我们没有准备好。如果我们不能很快做好准备的话，我们可能就不得不等到2015年或2020年，去访问德国的法兰克福或者中国的上海，去看到我们失去的机会。” 我们准备好了吗？ Forbes ASAP, September 10, 2001,