40G 100G 以太网的标准之路.docx

1、40G/100G 以太网的标准之路 发布时间：2011 年 04 月 14 日 2010 年是以太网技术领域最具里程碑的一年：6 月 17 日 IEEE 正式批准了 IEEE 802.3ba 标准，这标志着 40G/100G 以太网的商用之路正式开始。回顾其过程，IEEE 802.3ba 工作组于 2008 年初正式成立，到标准的正式获批和发布，经历了两年半的时间。 40G/100G 以太网的标准之路 文/ 汤勇 40G/100G 以太网标准的诞生 在以太网标准中， 40G 是个“另类”的以太网速率。从 10M-100M-1000M（1G ）- 10G，以太网一直都是以 10 倍的速率来定义更

2、高的接口速率，而 40G 的出现第一次打 破了这个规律。是什么原因使得 IEEE 改变了以太网接口速率一直以来所遵循的规律？ 早在 2006 年下半年， IEEE 就成立了 HSSG（Higher Speed Study Group），目标是 要研究制定下一代高速以太网 100G 的标准。随着工作组相关工作的深入开展， 40G 以 太网被明确的提出，技术上的分歧也随之凸显，40G 还是 100G？下一代以太网的标准之 路从一开始就面临一个艰难的抉择。 将 40G 以太网作为下一代标准，其支持者有着非常充分的理由：40G 端口的相关技术和 产业链相对成熟得多，在芯片成本、光模块成本和端口部署等方

3、面都有着非常现实的意义， 可以很快实现规模性的商用。而 100G 的支持者更愿意面临更大的技术挑战：虽然 100G 在诸多方面都存在技术和成本问题，但基于 10G*10=100G 的考虑，不能因为技术上的 原因就放弃它。双方的分歧与争论一直持续着，并影响了最终发布的结果40G 和 100G 同时被定义下来。不过从市场定位来看，两者各有所侧重：40G 以太网主要面向数 据中心的应用；而 100G 以太网则更侧重在网络汇聚和骨干。 IEEE 的 40G/100G 以太网标准发布的同时，多个光通信标准组织也在积极制定相关规范， 涵盖 40G/100G 器件、光模块、 OTN 开销处理、系统设备等领域

4、。具体来说，IEEE 主 要制定客户侧的网络接口和以太网相关映射标准，为 40G/100G 客户侧接口提供了规范； ITU-T 主要制定运营商网络相关标准，2010 年该组织对 G.709 标准进行了一次修订，进 一步规范了 OTN 接口标准，把 40G/100G 以太网的承载和映射进行了明确的定义；OIF 则负责制定 40G/100G 波分侧光模块电气机械接口、软件管理接口、集成式发射机和接 收机组件、前向纠错技术的协议规范，有力地推动了波分侧接口设计标准化。 从 2010 年下半年开始，芯片供应商们明显加快了在 40G/100G 以太网上的开发节奏， 我们有理由相信，40G/100G 相关

5、标准的正式发布，必将完全激活整个产业链的研发热情。 在 2011 年以至未来， 40G/100G 必将成为技术热点。 40G/100G 的需求高速增长 随着 IT 行业的高速发展，云计算、虚拟化、高清视频、电子商务、社交网络以及飞速发展 高速无线网络等等各种新兴业务的不断涌现，都给基础网络带来了巨大的机会和挑战。 从业务层面来看，三网融合给网线赋予了更为丰富的内容：下载文件，电子购物，在线观 看高清视频，以及高清视频通话等等。这也使得用户的带宽需求从 64K 迅速上升到 10M、100M，甚至千兆。有数据表明，10G 端口的增长速度已远远高于低速端口的增长 速度，在接入和客户端设备上 10G

6、端口的应用正越来越多。这势必会引发网络汇聚层和骨 干层对 40G、 100G 端口需求的迅速增长。 云计算的部署，更加速了业务对网络带宽的需求。海量的数据在不断的交互，网络正在成 为人类的第二个生活空间，越来越多的事情正在或将要在网络上进行。更强大的数据中心、 更高的网络带宽是实现这一切的物理基础。这场革命已逐渐渗透到数据中心内部。处理器 技术的飞速发展和业务的无限丰富推动了虚拟化技术在数据中心广泛应用，千兆端口已不 能满足服务器对接口的需求。随着数据中心网络建设的融和趋势，局域网、存储网络和高 性能计算网络融正逐步统一到以太网接口上，如图 1 所示，这也大大增加了服务器对 10G、40G 以

7、太网接口的需求。一旦 10G、40G 接口成为服务器的普及端口，数据中心 内部 40G、100G 的互联交换机接口就变得十分必要和紧迫。不仅如此，超大型的数据中 心往往有很大的地域跨度（考虑到数据中心机房对电力、空间等的特殊需求，往往会建立 在一些比较偏远的地方），这些数据中心的互联以及同 Internet 的接入都需要更高速率 的链路。 图 1 数据中心的融合网络 从网络的架构来看，网络的扁平化和融合也都大大促进了 40、100G 高速接口的发展，如 图 2 所示。网络的扁平化对高端/ 核心路由器提出了更高端口密度和更高速率上行接口的 要求，如每槽位需要 32 个 10GE 接口。在如此高密

8、度、大容量的接入带宽下面，上行接 口的带宽就有了更高的需求。比较常见的部署就是用多个 10G 端口进行聚合和捆绑，来实 现更高性能的上行接口。可见，40G、100G 的接口需求不仅现实的，而且是迫切的。 核心路由器在 40G、100G 接口上的技术突破，尤其是 100G 接口的出现，也极大的推动 了传输网络的发展。IEEE、ITU-T 和 OIF 联手定义了 40G、100G 接口如何利用 DWDM 实现长距传输，并提出下一代传输网络 OTN。在 OTN 的架构下面， 40G、100G 乃至未 来的 400G、1T 等高速接口都有了更广阔的发展空间。从目前业界的技术发展来看，虽然 从用户侧（C

9、lient）到线路侧（Line）的映射（Mapping）标准中有多种封装的定义，但 在 100G 接口的实际实现上， 100G 以太网几乎成为业界唯一的实现。从这个意义上讲， 以太网已经完全突破了“自我”，不再局限在“局域网和城域网”，而是真真切切“跑”到了骨 干网上，成为“运营商以太网”。 图 2 承载网扁平化 说到 OTN，就不得不说网络的融合。这是一次“跨界”的融合，即数据通信网络（IP 网络） 和传输网络（OTN ）的融合。传统的数据通信（ IP）网络和传输网 （SDH/SONET/DWDM）在管理和运营上相互独立，路由器“看不见”传输设备，只是把 传输当成“一根很长很长，信号质量很好

10、的电缆”。传输资源的分配和链路的建立都是完全 通过“人”这个接口来实现的，业务的开通要经过申请、审批、配置执行和调试等多个环节， 开通的周期长，业务变更复杂。而在下一代传输网的架构中，IP 和 OTN 网络将最大限度 的融合，通过对 GMPLS 的全面支持，实现控制平面的对接和互通，交换机、路由器以及 传输设备都成为网络上对等的节点。业务是端到端、按需的、动态的建立和拆除，极大的 简化了网络的管理，并最大限度的实现链路带宽和资源的高效率适用。当然，要达到这样 的目标在技术上还有很长的路要走，但融合的趋势和意愿已经迫在眉睫，其带来的一个必 然结果就是路由器全面提供对能支持 OTN（DWDM 彩光

11、）的接口，这也成为 40G/100G 接口出现动力之一。 再者，从降低网络的投资成本和运营成本的角度来看，也对 40G/100G 端口有着明确的 需求。如前文所述，为实现更高性能的上行接口，通常会在数据中心的核心交换机上用多 个 10G 端口进行聚合和捆绑当然 40G POS 可以解决单端口 40G 的骨干互联问题，但是 仍然无法达到 100G）。虽然物理带宽上实现了更高速物理接口的目的，但是链路聚合却 存在着以下问题： 数据流在多个物理端口之间要进行链路选择（多采用 HASH 算法），这就会导致各个 链路负载不均衡，从而降低聚合链路的有效带宽。并且，不同的流量模型可能会将此现象 加剧和恶化，

12、大大降低链路的可用带宽。 由于接口数量多，导致接口上连接的光纤数量大大增加，不仅仅给机房部署、设备维护 带来更大麻烦，更为重要的是，会对链路保护和倒换造成极大的困难，甚至无法实现。对 于可靠性要求极高的应用来说，这是一个致命的缺陷。 会给用户在网络基础建设方面带来更多的投入，包括占用路由器、交换机上更多端口 （或槽位），需要购买更多的光模块、光纤，租用更多的低速端口链路等等。 当然，在 40G/100G 应用之初，这些高速接口本身还是“天价”，甚至远大于多个低速接 口的捆绑。但是随着产业链的成熟和应用数量的增加，总体成本一定会快速下降到合理的 范畴之内。到那个时候，单端口 40G/100G 在

13、投资和运营成本上的优势一定会更加明显 的体现出来。 40G/100G 技术面临的挑战 40G/100G 作为一项新技术，在其研发和部署的各个环节会涉及到一些关键技术的突破和 革新，这也给芯片开发商、设备制造商和最终用户都带来一系列新的挑战和问题。 1. 路由器/ 交换机处理能力（包括整机容量、端口密度、高速查表、流量管理以及热设计 和节能设计） 当每端口的带宽上升 10 倍（相对于 10G 端口）的时候，就会给系统设计带来更高的要求。 通常在设计系统交换容量时，都会考虑加速比（speedup），即报文在板间交换时需要一 定的报文附加信息开销。加速比一般在 1.52 之间，这意味着当物理接口为

14、100G 时， 需要的背板交换容量为 150G200G，双向就是 300G400G。如果产品以后每槽位提 供 4*100G 的超大容量，这就要求系统为每槽位提供 1.2T1.6T 的交换容量。如果按照 10Gbps 的 SerDes 进行设计，则需要 6080 对高速的信号。如此之多的高速信号给系 统设计、单板设计和 PCB 设计都带来巨大的挑战。目前，业界已经开始研究 25Gbps SerDes 的背板技术，如果能够商用，则可以大大减少 SerDes 的数量，简化系统的设计。 不仅如此，当单端口的带宽上升到 100G 的时候，对于设备而言，线速情况下每秒需要处 理 150 Million 个

15、报文的转发（ 150M pps），这对路由查找、流量管理（报文的缓存和 队列调度）等特性的实现也带来巨大的挑战。同时，光模块、TCAM 以及 NPU 等等这些 部件在实现 100G 处理性能的时候，会产生巨大的功耗和热量，如何实现高效的通风散热， 这也正逐步成为高端设备系统设计的一个极其重要和关键的方面。 2. 专用报文处理芯片的高速接口，包括高速 SerDes、高速大容量缓存等 对于 40G/100G 的平台，高速接口成为芯片和系统设计的关键技术之一。 在新一代的高端平台上，每槽位需要的 10Gbps SerDes（64/66 编码）60 80 对，换 算成 3.125Gbps 的 SerD

16、es（8/10 编码）则高达 240320 对，这个密度物理上几乎 无法实现，因此，尽可能的采用更高速率的 SerDes 是实现高端平台的关键。 除了 SerDes，对报文做缓存和队列调度也是在实现 40G/100G 平台中的关键技术。从理 论上看，1 个 100G 端口进来的报文，缓存一次需要 1 写 1 读，这样就需要 200G 的带宽， 而 3 个 64 位控制器的总理论带宽是 3*85.376=256.128G（667MHz ），也就是说 至少要 3 个 64 位的 DDR3 控制器才能满足 1 个 100G 端口的报文缓存需求。考虑到 DDR3 的实际有效带宽会更低一些（短包的时候效

17、率下降尤为明显）以及调度的开销，实 际可能需要更多的内存控制器才能实现。如此之高的内存接口数量和带宽需求，对芯片设 计本身来说也是巨大的挑战。 3. 在（超）长距传输中，利用现有的光纤等基础设施，实现单波长 40G/100G 的超长 距传输 40G/100G 接口的出现为核心 /骨干路由器的互联提供了一个非常好的 “管道”，但如何实 现所谓的 ULH（Ultra Long Haul）传输，成为骨干网的一个重要课题。近几年来，业界 不断在研究如何尽量在利用现有基础设施（包括光纤、DWDM 设备等等）的情况下，实 现单波长 40G 甚至 100G 的高速超长距传输。这涉及到诸多光学领域的关键技术，包括 采用更复杂的光调制技术，如 DP-QPSK（Dual Polarization Quadrature Phase Shift Keying），使用光放大器 EDFA，研究增益更高高速 FEC 算法等等。相关的技术已经有 了比较明显的突破，商用的道路也已经逐渐清晰。 结束语 40G/100G 以太网应用的序幕已经徐徐拉开，期待着这张“超高速”的以太“网”能够给网络 世界带来翻天覆地的变化。