1、ODCC-0500X-201X 无损网络测试规范0无损网络测试规范V1.0编号 ODCC-0500X-201X开放数据中心委员会 2017-08-22 发布ODCC-0500X-201X 无损网络测试规范1目 录1. 测试环境 .41.1. 测试网络拓扑 .41.2. 配合设备 .41.3. 测试工具 .51.4. 业务场景 .52. 测试项目 .62.1. 交换机裸性能：吞吐量、时延、丢包率测试 .62.2. 无损网络 HPC 业务性能测试 .82.2.1. 无损网络&InfiniBand 网络测试 .82.2.2. 与传统 Ethernet 网络对比测试 .112.3. 无损网络 DPDK
2、 性能测试 .152.3.1. DPDK 无丢包转发性能测试 .152.4. 无损网络虚拟化场景性能测试 .162.4.1. 虚拟化 SR-IOV 场景下的带宽和延迟性能测试 .162.4.2. 虚拟化 SR-IOV 场景下的 DPDK 吞吐性能和不丢包测试 .192.5. 无损网络传统存储业务性能测试 .20ODCC-0500X-201X 无损网络测试规范22.5.1. iSCSI over TCP/RDMA 随机读写性能对比测试(FIO) .202.5.2. iSCSI over TCP/RDMA OLTP 模型读写性能对比测试(VDBENCH) 222.5.3. iSCSI over T
3、CP/RDMA OLAP 模型读写性能对比测试(VDBENCH)242.6. 无损网络 NVMF（NVMe over Fabric）业务性能测试 .262.6.1. 无损网络&InfiniBand 网络测试 .272.6.2. 与传统 Ethernet 网络对比测试 .312.7. 无损网络分布式数据处理业务性能测试 .352.7.1. 高性能 Spark HiBench 排序性能测试 .35ODCC-0500X-201X 无损网络测试规范3前 言本标准规定了数据中心的无损网络测试规范。本标准是数据中心 xxx 产品商用部署所需要遵从的技术文件。本规范的起草感谢以下单位（排名不分先后）：ODC
4、C-0500X-201X 无损网络测试规范4无损网络测试规范1. 测试环境1.1. 测试网络拓扑图表 1 网络拓扑图1.2. 配合设备配合设备名称 数量 单位 备注InfiniBand 交换机 5 台无损网络交换机 5 台ODCC-0500X-201X 无损网络测试规范5Ethernet 交换机 5 台服务器/CPU/内存 16 台 测试 HPC 应用和 SPARK，要求配置尽量高AOC 若干 根NVME 若干 如果没有的话就用 NULL_BLK 设备图表 2 配合设备列表1.3. 测试工具测试工具名称 备注FIO 存储性能测试软件OpenFoam HPC 性能测试软件，V1606+ 版本OF
5、ED 版本 3.4-1.0.0.0，背景流产生命令 Ib_send_bwIMBOSUOSU Micro-Benchmarks 5.4.2Intel(R) MPI Benchmarks 2018 Update 1图表 3 测试工具列表1.4. 业务场景无损网络旨在为主流业务所用的数据中心网络提供时延无损、丢包无损、吞吐无损。当前这些业务对于数据中心网络的性能提出了更高的要求，未来网络需要更高带宽、更低时延、更大吞吐。本测试针对当前主流业务，例如高性能数据库、大数据处理平台、HPC 业务、虚拟化场景等，开展了数据中心无损网络的各项测试。希望能为高性能、低时延、虚拟化场景下的业务提供更好的数据中心网
6、络。ODCC-0500X-201X 无损网络测试规范62. 测试项目2.1. 交换机裸性能：吞吐量、时延、丢包率测试项目编号：1.测试项目：交换机时延测试测试目的：以太网络和 IB 网络交换机的时延测试测试配置：分别进行 Ethernet 和 IB 组网及配置，测试交换机延时网络拓扑：单台交换机组网测试。如下图为例：测试步骤：1、配置两台服务器，使用双端口网卡。每个网卡的两个端口，端口 1 连到交换机，端口 2 直连对端服务器。对交换机做简单配置，保证连通性。2、测试通过端口 1 的 IB_write_latency 延时，以及通过端口 2 的对应延时。3、记录平均时延结果。预期结果： 1、
7、IB 交换机延时增加在 100ns 以内；2、 以太交换机延时 300ns 左右。备注：SwitchServer 1 Server 2ODCC-0500X-201X 无损网络测试规范7项目编号：2.测试项目：带宽测试测试目的：以太网络和 IB 网络交换机的带宽测试测试配置：分别进行 Ethernet 和 IB 组网及配置，测试交换机端口带宽网络拓扑：单台交换机组网测试。如下图为例：测试步骤：1、配置两台服务器，使用双端口网卡。每个网卡的两个端口，端口 1 连到交换机，端口 2 直连对端服务器。对交换机做简单配置，保证连通性。2、测试通过端口 1 的 IB_write_bandwidth 延时，
8、以及通过端口 2 的对应带宽。3、记录平均带宽结果。预期结果： 1、 IB 交换机带宽为 25Gb 线速；2、 以太交换机带宽接近 25Gb 线速。备注：SwitchServer 1 Server 2ODCC-0500X-201X 无损网络测试规范82.2. 无损网络 HPC 业务性能测试2.2.1. 无损网络 &InfiniBand 网络测试项目编号：3.测试项目：规模对比测试测试目的：不同网络规模下无损网络和 IB 网络的性能测试测试配置：分别进行无损和 IB 无阻塞组网，网络拓扑、端口速率和节点配置均一致。测试不同规模下，两种组网下 OpenFoam 测试用例 motorBike 的运行
9、时间。 网络拓扑：以两级 CLOS、无阻塞组网，服务器规模 16 台ODCC-0500X-201X 无损网络测试规范9网络拓扑图测试步骤： 1、在每台服务器（Huawei 2288 v3，操作系统 redhat7.1）上分别安装OpenFoam（版本 V1606+），OFED（版本 3.4-1.0.0.0），并配置所有节点间无密码互相登录。2、任选一台服务器作为 master（上图中最左边一台），其余服务器作为 slave。16台时 IB 和无损组网配置分别如下。3、执行前处理；Master 上执行./run1.sh ，完成前处理。4、执行运算；Master 上执行./run2.sh ，进行并行计算5、记录执行时间。预期结果：无损网络交换机与 IB 交换机均无丢包，任务完成时间相当。备注：项目编号：4.测试项目：有背景流测试
