1、下一代核仪器及设备标准XTCA进展,刘振安中国科学院“核探测技术与核电子学”重点实验室中国科学院高能物理研究所触发实验室核电子学与探测技术学术年会 2010年8月14日,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,2,报告概述,标准化在核与高能物理实验中的重要性核仪器标准的简史核仪器研制的现状及研究xTCA for Physics组织架构新标准协调委员会CCTS 及工作组新标准制定现状与未来,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,3,仪器标准化在核与高能物理实验中的重要性,肉眼观察研究：光源/光线/物体/眼睛宏观研究：宇宙线/探测器微观研究：宇宙线/放
2、射源加速器/高能粒子/靶体/探测器,物理学研究的两个前沿,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,4,实验装置的运行需要复杂的控制以北京正负电子对撞机和北京谱仪为例,直线加速器,电子 储存环,同步辐射,束测线,北京谱仪,1984.10-1989。7,标准化的加速器控制设备标准的控制机箱标准的控制插件,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,5,实验装置的运行需要复杂的信号处理与控制,探测装置,微弱电信号,前端电子学,放大、成形,模数转换,触发判选,DAQ在线处理,离线分析,数据存储,物理过程,粒子,慢控制,标准化的谱仪控制与数据获取设备标准的机箱标准
3、的插件,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,6,核仪器标准的简史,英国卢瑟福实验室于1960年代开创核电子学的标准欧洲核子研究中心CERN和美国实验室同期开展美国国家标准局和核仪器插件委员会建立了NIM标准70-80年代建立了另2个标准CAMAC，FASTBUS，并被研究领域得到广泛应用核谱测量、粒子物理、医学物理、加速器仪器、加速器控制、航空航天、工业控制等目前这些标准仍在使用，但显局限性90年代借用工业标准VME（VXI等）2000年后CPCI现在及将来？1 NIM(60s), CAMAC(70s), FASTBUS (80s) CAMAC processed a
4、s IEEE , ANSI and IEC standards,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,7,核仪器研制的现状及研究标准与技术的演变,标准是有寿命的，但其演化要缓慢温和物理实验中的标准已经有些过时，但很多系统却仍然在使用微电子工业的巨大进展需要新的平台来展现他的优点,目前的平台已不适应:高速处理芯片4Gsps集成电路的功能已经把原来插件完成的功能在一片可变成逻辑器件FPGA中实现片上处理器提供了可变成控制和并行数据处理能力通用硬件设计配以不同的固件得以实现多种功能设计片上串并/并串转换能力3-10Gbps需要新的标准,BESIII通用插件,205Gb/秒同步
5、传（BESIII）,专用总线,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,8,电信最新标准简介,电信领域大多数基于CPCI、VME总线的处理器系统，总线带宽已经成为制约系统处理能力的瓶颈。 VME64X的总线带宽为320Mb/s，已经不能满足要求高吞吐量、低延迟的系统。随着对更高系统带宽、总线速度、实时性、系统可靠性、温度范围、散热及更小空间等方面越来越高的要求，迫切需要一种新的运算架构来满足信号处理的需求。PICMG协会成立了一个ATCA委员会，该委员会由代表了工业和电信设备制造商及终端用户的105个公司组成，其目标是建立、修改并计划在2002年底发布新的规范ATCA。经过
6、12个 月的奋战，PICMG3.0规范先进的通讯计算机构架（ATCA）如期发布。后来，低成本、小尺寸的应用，PICMG协会又在ATCA构架的基础上提出了MicroTCA构架，该技术在2006年逐渐成熟，吸引着越来越多人的目光。,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,9,ATCA的系统构成,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,10,ATCA的系统构成,1个典型的ATCA系统包括： 12块刀片模块（Blades）、2个交换刀片（Switch Blades）、2个控制刀片（Control Blades）、互连背板（Back Plane）以及电源（Po
7、wer）、散热等模块。,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,11,Blades（刀片模块）,Blades是MicroTCA系统的基本组成部分，通过对这些模块的使用能很容易地实现系统扩展、模块化设计，从而方便地实现各种系统功能。典型的Blades有Computing Blades（计算模块）、Network Processor Blades（网络通信模块）、Storage Blades（存储模块）。例如下图是一个Storage Blade。,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,12,ATCA背板（Back plane）,ATCA背板的概念是 A
8、TCA规范的基础，它是所有ATCA机箱的构成要素。包括电源输送、模块互连以及IPMI模块等等。ATCA背板能够互连多达12个Blade模块，和2个Switch模块（互为冗余）。,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,13,散热系统,ATCA模块的功率大，其机箱设计具有优良的散热性能，它的散热由位于机箱上方的两片Control Blade控制，如左图所示。,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,14,高速通信,ATCA设计的重要优势之一就是它出色的通信速率，可以达到数GB量级。 PICMG 3.1-3.5标准中定义了5种通信方式：千兆以太网和光纤传
9、输 ；InfiniBand，StarFabric，PCI-E，RapidIO。,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,15,发展迅速,2002年，发布基本规范； 2003年，发布背板连接技术(光纤交换)的扩展； 2006年，面市。,5年或者更多时间。,ATCA的发展历程，3年发布,走了大约10年；,相同发展道路，对比VME和CompactPCI,VME,CompactPCI,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,16,核仪器新标准是什么,ATCA优点高速IO及互连10Gb/s高可用性HA 99.999%智能管理MicroTCA (MTCA)ATC
10、A的优点半高度AdvancedMC（AMC）小插板,高能物理实验再次借鉴工业标准（电信）？这是一个很好的思路！,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,17,高能所：高性能节点计算机的设计,High Performance Compute Power: 5x (Virtex-4 FPGA + 2Gb DDR2) 32Gbps Bandwidth13x RocketIO to backplane5x Gigabit Ethernet 8x Optical Link2 Embedded PowerPC in each FPGAReal time LinuxATCA compl
11、iant完成第二板,高能所设计的基于ATCA和FPGA的高性能处理板,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,18,国际上其它实验室的相关研究,德国DESY在 XFEL 1 km 电子直线加速器领先设计 (1/20th an ILC) LLRF, 连锁保护，束线仪器 ATCA + MicroTCA SLAC 开始用MTCA对3km电子直线加速器进行更新,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,19,欧洲核聚变项目,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,20,国际直线对撞机,下一代加速-国际直线对撞机(ILC)要求高可用率（hi
12、gh availability)高数据产生率（500Gbps） 解决办法ATCA/MTCA？HA 99.999%波特率 10Gbps,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,21,谁在用（想用）ATCA？,IHEP,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,22,如何衡量一个系统的优劣？,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,23,Why xTCA,ATCA 缺点：高8U，不适合控制用没有后插板没有定义子板及信号没有定义后插板（HA）没有控制信号MTCA缺点：没有后插板没有定义子板及信号没有定义后插板（HA）没有控制信号AMC缺
13、点：互联？控制信号 信号管脚定义,制定新标准：xTCA for Physics,高能所计算节点板,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,24,xTCA for Physics 大事,2007年5月 在FNAL第一次ATCA workshop2007年5月 IEEE RT07 ATCA 专题2008年初讨论建立新标准的可行性2008年10月在Dresden第二次ATCA workshop2008年10月IEEE NSS ATCA 专题2009年5月高能所第三次 xTCA workshop2009年5月IEEE RT09 ATCA 专题2010年5葡萄牙里斯本 第四次 xT
14、CA workshop2010年5月葡萄牙里斯本 IEEE RT1 xTCA 专题,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,25,xTCA for Physics 协议标准委员会,2009年3月10日在PICMG下成立 xTCA for Physics 协调委员会（CCTS）IHEP,SLAC,FNAL,DESY 发起单位40多厂商参加选举产生了事务人员主席：SLAC Ray Larsen会议秘书：三环公司Augustus Lowell文件编辑：高能所刘振安,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,26,CCTS的路线图,组织工作组每周开技术讨论电话
15、会 xTCA for physics Extensions to specifications 协议文本的起草Guidelines 设计指引Open source solutions 开源软件的编制Building on existing xTCA base under PICMG rules 依照PICMG规则构建xTCA骨架Spec approval by PICMG membership PICMG成员验收 Collaborating with industry for product development & support 工业界的密切合作,2010年8月14日,下一代核仪器及设备
16、标准XTCA 刘振安,27,xTCA标准的工作组及任务,物理需求调研组：Physics User Survey Task Group硬件工作组 WG1：Physics xTCA I/O, Timing and Synchronization Working Group软件工作组 WG2 ：Physics xTCA Software Architectures & Protocols Working Group,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,28,硬件组 WG1 的任务,硬件协议范围ATCA Rear Transition Module Interface for
17、 IOATCA Carrier Boards for AMCs w/ Rear IO (2)AMC (Advanced Mezzanine Cards) w/Rear IO (2)MTCA (MicroTCA) Chassis w/ Rear IO (2)ATCA/MTCA Clock & Trigger Distribution (2),2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,29,1. ATCA 后插板 3区概念,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,30,2a. Carrier w/ Stacked AMCs IO,Stacked conne
18、ctor,Standard AMC board,AMC IO board,Courtesy R. Downing, SLAC,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,31,2b. Carrier Concept for 1 or 2- Wide AMC,IO Zone 3 from/to RTM,Mechanical Key,Standard Fabric to backplane,Power,Up to:10 standard singles4-double high w/IO3 double wide w/IO,2010年8月14日,下一代核仪器及设备标准XTCA 刘
19、振安,32,3a. Stacked 1-wide AMC w/ IO,IO,Stacked AMC Board(s),IO,Stacked boards and connectorIO confined to second boardSuperior analog grounding, shielding, crosstalk isolation,Dwg. Courtesy R. Downing, SLAC,(From DESY LLRF Design),RTM Option,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,33,3b. 2-Wide AMC w/IO,2010年
20、8月14日,下一代核仪器及设备标准XTCA 刘振安,34,4a. 1-Wide Stacked AMC in MTCA,AMC Panels 2-high (vs. 1.5) w/ alternate slots dedicated to analog & IO,Full size RTM option,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,35,4b. 2-Wide 12 Payload AMC MTCA,Clock & Timing Module,Interlock Output Module,Optional,Rear IO viaRTMs,PowerUnit,2
21、010年8月14日,下一代核仪器及设备标准XTCA 刘振安,36,5a. ATCA中的时钟与触发,背板时钟与触发信号的分配总线方式与星型连接方式星型缓存器扇出，提供亚皮秒的稳定性，减小热插拔对定时的影响提供更强的网状连接的可能性低精度时钟与触发信号需求时提供总线方式，标准的双星型连接区,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,37,5b. MTCA中的时钟与触发,与ATCA类似的理念，但较少的可选项建议利用现存的双星型连接线，避免复杂性一般稳定性要求与ATCA一致MCH 管理插件,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,38,软件工作组 WG2 任务
22、,主要目标跨实验室调研物理实验中高互用、高可用、性能高的软件系统调研可用于高可勇物理实验系统的现存ATCA开源软件开发为快同步系统中实时低时滞协议开发通用指引为减小开发时间，提高互用性，开发并提供模拟数字应用中的通用API 接口,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,39,软件工作组 WG2 任务,互用性Develop Generic APIs and Protocols for:Management of real-time DAQ & machine control componentsHigh rate & low latency transactionsMana
23、gement of resources within xTCA network可用性Define mechanisms for management of redundancy, hot swap and auto-failoverDevelop IPMI architecture to include LAN access for managing distributed FPGA controls environment性能Standardize environment, use available standards to save development timeEfficient c
24、ommunications from high speed point-to-point to full network levels,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,40,现状小结,最优先的项目 ATCA RTM 2-wide AMC, MTCA Chassis w/ RTM AMC Single wide 2-stack AMCs on ATCA CarrierMTCA 1-wide stacked AMC w/ RTM进展正常硬件目标 协议规范文本, 原形提交 20102/3 季度协议规范文本, 原形通过 20103/4 季度软件开发了支持环境与演示程序建立
25、长期目标与路线图,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,41,第二步任务,设计后插板原形样机:验证协议文本的有效性检验演示xTCA系统中的原形样机满足使用系统地要求演示可用性、互用性等特性记忆智能管理插件的性能，使厂家和用户双方受益,2010年底提出标准草案,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,42,中国同行的合作、贡献,第一个中国同行参与制订的核仪器标准xTCA for Physics 不是仅限于核物理/高能物理，也可应用于工业控制，China-PICMG很感兴趣欢迎中国同行积极参加xTCA协议项目制定研究项目应用,2010年8月14日,下一
26、代核仪器及设备标准XTCA 刘振安,43,感谢大家的耐心,参考资料 http:/www.picmg.org/pdf/PICMG_Physics_Public_Web_Update_061209_R5-3.pdf,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,44,后备片,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,45,Possible Scenarios,MTCA with Rear IOLabs place early orders for common spec items to industries via RFPs (Request for Prop
27、osal) if item does not already exist, or RFQ (Request for Quotation) if similar item already is manufactured.Need to develop at least 2-3 industry sources of each basic infrastructure itemShelf with backplane, 2-wide with RTMShelf with power and coolingShelf with MCH, IPMI, power & cooling,2010年8月14
28、日,下一代核仪器及设备标准XTCA 刘振安,46,Joint Orders,Founding Labs collaborate on multiple prototype orders to raise numbers ordered, offset NRE costs (SLAC, DESY, FNAL, IHEP, IPFN)FLs offer prototype order opportunities to new labs not already members BNL, LBNL, LLNL,LASL, Argonne, JLAB, SNS, CERN, Saclay, Ruther
29、ford, KEK, + too many light sources to count,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,47,Applications Modules,No joint order approach to prototypes is possible on the module & xRTM side until we develop common specifications for generic modules, e.g.Multichannel 16-bit slow and fast ADC-DACs with FPGA process
30、or on boardGeneric xRTMs with signal conditioning suitable for combination of RF, BPM and slow interlock channelsGeneric clock and trigger solution modules for both ATCA, MTCAGeneric 1-wide stack AMC Carrier with ATCA RTM Rear IO,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,48,Systems Demonstrations,Assuming succ
31、essful collaboration on a number of key prototypes, lab-industry should jointly develop systems demos showing interoperability of modules from different vendorsShow at workshops, conferences, exhibitsMain development issue: Interoperable software interfaces to generic modules designed to common API,
32、 HPMI, IPMI specs,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,49,ATCA协议综述,ATCA包含一系列规范。核心规范（PICMG 3.0）定义了ATCA系统的机构、电源、散热、互联、系统管理等内容。辅助规范则定义了在核心规范中互联的传输方式。,2010年8月14日,下一代核仪器及设备标准XTCA 刘振安,50,实验室在国际新标准xTCA for Physics项目中发挥作用,参加2007年5月 在FNAL第一次ATCA workshop2007年5月 IEEE RT07 ATCA 专题2008年初讨论建立新标准的可行性参与组织2008年10月在Dresde
33、n第二次ATCA workshop2008年10月IEEE NSS ATCA 专题主办2009年5月在高能所的第三次 xTCA workshop组织2009年5月IEEE RT2009 NSS ATCA 专题,2009年3月10日在PICMG下成立 xTCA for Physics 协调委员会（CCTS）IHEP, SLAC,FNAL,Juelich 发起单位40多厂商参加推举产生了事务人员主席：SLAC Ray Larsen会议秘书：三环公司Augustus Lowell文件编辑：高能所刘振安 目前重点实验室成立了项目小组参加每周技术讨论硬件技术验证,2010年8月14日,下一代核仪器及设备
34、标准XTCA 刘振安,51,软件组 WG2 进展,入门联系软件Series of tutorials from industry and lab experts ongoingIPMI, HPM1.1, LAN-based IPMI, SRIO & PCIe vs. GbE protocols, OpenSAF etc.物理实验的通用 APIs Framework proposed for Embedded Machine Control Protocol for physicsIncludes integration of features found in various standard
35、s optimized for physics (e.g. VXI, SCPI, IVI)Includes virtual ADC example of hardware independent specification总结现有样机系统的经验Study of ongoing systems initiatives at DESY, SLAC, IPFN (JET & ITER) to help frame requirements, provide test beds,STATUS: Studies continuing on protocols, architecture, existing tools,
