高速率数据中心解决方案

随着业务转型发展带来的信息化系统建设，云应用程序正在快速发展。单体应用程序正在让位于分布式服务，推动了数据中心基础设施网络流量的增加，流量的持续增长也推动着数据中心网络往更快、更大带宽和更低延迟的高速网络方向发展。

Spine+Leaf网络架构

直到几年前，大多数的数据中心网络还都是基于传统的三层架构，对于大多数具有像园区网络这样的纵向（North-South）配置的流量模型来说是很实用的，而且三层网络结构应用广泛而且技术成熟稳定。一个标准的传统三层的网络结构如图1-1所示：

图1-1 传统三层网络架构

但随着云计算的发展，横向(East-West)流量在数据中心占据主导地位，涵盖几乎所有的云计算，虚拟化以及大数据横向网络在纵向设计的网络拓扑中传输数据会带有传输的瓶颈，因为数据经过了许多不必要的节点(如路由和交换机等设备)。主机互访需要通过层层的上行口，带来明显的性能衰减，而三层网络的原始设计更会加剧这种性能衰减。

由此，就有了IP Fabric概念，IP Fabric指的是在IP网络基础上建立起来的Overlay/隧道技术。如图1-2所示为基于胖树的Spine+Leaf拓扑结构的IP Fabric组网图。

图1-2 IP Fabric网络的两层架构

在这种组网方式中，任何两台服务器间的通信不超过3台设备，每个Spine和Leaf节点全互连，可以方便地通过扩展Spine节点来实现网络规模的弹性扩展。只要遍历一定数量的交换机，可以在几乎所有数据中心结构体系结构中的服务器节点之间传输流量。该架构由多条高带宽的直接路径组成，消除了网络瓶颈带来的潜在传输速度下降，从而实现极高的效率和低延迟。

图 1-3 Spine-leaf架构

用盒式机代替传统框式机

在设计和建设一个数据中心的网络时，我们需要充分考虑到至少未来5年的技术、行业需求发展和运营成本开支，从而更优化地使用现有的数据中心资源服务于企业核心业务。

在网络交换机选型是整个数据中心网络设计的关键因素之一。传统的大型网络设计选择框式设备，以提高整个网络系统的容量上限，并提供的有限的可扩展性，但是相应的，存在如下的限制和风险：

• 框式设备总体容量有限，已经不能满足数据中心不断增长的网络规模需求。

• 核心框式设备采用双连接方式部署，故障半径高达50%，无法有效保障业务安全。

• 框式设备部署实施复杂，故障诊断和排除周期长，升级维护的业务中断时间长。

• 为保障后期业务扩容，框式设备预留插槽，使得前期的投资成本提升。

所以在网络设备选型方面，我们建议用整网盒式交换机组网，不同层级的交换机型号统一，便于维护团队快速熟悉，同时后期的网络架构调整，设备复用和维修替换提供可操作的空间。

建设初期的网络投资（拥有成本TCO）也大大缩小的同时，Spine-Leaf（CLOS）架构配合盒式交换机组网，提供了可横向扩展的能力。即便spine交换机故障离线，也仅仅影响小部分网络带宽，业务完全无感知。后续扩展方面，仅需要根据数据中心的规模需求，添加交换机数量和层级，相应的扩展网络的接入容量和骨干网络交换容量。整个网络按需采购和部署，一切服务与应用和业务需求。

Overlay网络

Overlay网络是建立在已有物理网络上的虚拟网络，具有独立的控制和转发平面，对于连接到Overlay的终端设备（例如服务器）来说，物理网络是透明的，从而可以实现承载网络和业务网络的分离，如图1-4所示：

图 1-4 Overlay/Underlay网络概念图

Overlay网络有着各种网络协议和标准，包括VXLAN、NVGRE、SST、GRE、NVO3、EVPN等。

VXLAN

VXLAN（Virtual eXtensible LAN，可扩展虚拟局域网络）是基于IP网络、采用“MAC in UDP”封装形式的二层VPN技术。VXLAN可以基于已有的服务提供商或企业IP网络，为分散的物理站点提供二层互联，并能够为不同的租户提供业务隔离。VXLAN 主要应用于数据中心网络和园区接入网络。

图 1-5 VXLAN模型

初始的IET FVXLAN 标准 (RFC 7348) 定义了一个基于组播、不采用控制平面的“泛洪和学习”的VXLAN。它对远程 VXLAN 的VTEP（虚拟隧道末端点）发现和远程终端主机MAC学习依靠数据驱动式泛洪进行。重叠广播、未知单播和组播流量封装到组播VXLAN数据包并通过底层组播转发传输到远程VTEP交换机。此类部署中的泛洪可能给解决方案的可扩展性带来挑战。在底层网络中启用组播功能的要求也会带来挑战，因为某些组织不希望在其数据中心或广域网网络中启用组播。

图 1-6 flood-learn

如图1-6，假设最左侧虚机已经知道目的MAC了（VTEP中的L2 Table已经老化，虚机中的ARP cache还没老化）。当最左侧虚机想ping最右侧虚机，ping包送到VTEP，因为在VTEP中找不到对应的Remote VTEP，VTEP会做如下操作：

（1）原始的Ethernet Frame被封装成VXLAN格式，VXLAN包的外层目的IP地址为组播地址。

（2）VXLAN数据包被发送给组播内所有其他VTEP。

VXLAN-EVPN部署弹性网络

VXLAN由RFC7348定义，其中只定义了数据层的行为，并没有指定VXLAN控制层。在VXLAN技术早期，通过数据层的来获取转发信息，在实现上较为简单，相应的技术门槛较低，有利于厂商实现VXLAN。但是随着网络规模的发展，完全依赖数据层做控制会造成网络中广播组播风暴，因此VXLAN也需要有一个控制层。

VXLAN 重叠网络在“泛洪和学习”模式下运行，在此模式下，终端主机信息学习和 VTEP 发现均由数据平面驱动，在VTEP之间没有控制协议分发终端主机可达性信息，要克服此局限，可以将多协议边界网关协议以太网虚拟专用网络 (MP-BGP EVPN) 用作VXLAN控制平面。

有了控制层数据，数据层就简单多了。Server A想访问Server B，通过查找本地VTEP L2 Table找到VTEP2，再封装成VXLAN数据发送到VTEP2，VTEP2将VXLAN解封装，转发给本地的Server B。所以可以看出，从数据层面角度来看，有没有EVPN效果都是一样的。EVPN只负责VXLAN的控制层面，也就是MAC转发信息的传输，对VXLAN数据层面没有影响。

图 1-7 EVPN作为控制平面

VXLAN作为新型的网络隔离技术，在RFC 7348定义中有24比特，支持多达16M（约1600万）租户隔离，有效地解决了云计算中海量租户隔离的问题。在VTEP本地进行VLAN 隔离和跨越设备的VNI隔离（VLAN到VNI的映射），组成结合物理网络隔离和虚拟网络的Overlay网络。

采用EVPN作为VXLAN的控制平面具有以下优势：

• 可实现VTEP自动发现、VXLAN隧道自动建立，从而降低网络部署、扩展的难度。

• EVPN可以同时发布二层MAC信息和三层路由信息。

• 可以减少网络中的泛洪流量。

我们的方案

在HPC、AI、5G、云计算场景中的，数据中心网络需要满足带宽、时延、稳定性的高要求，同时支持网络虚拟化。纳多德NADDOD与NVIDIA推出支持25/100/200GbE到服务器、高密度100/200/400GbE Nvidia Open Ethernet Spectrum交换机和无控制器网络虚拟化的开放平台。可部署在第2层和第3层云设计中、基于覆盖的虚拟化网络中，或作为高性能、关键任务以太网存储结构的一部分。可跨各种应用领域（例如云计算、数据存储、人工智能等）提供行业领先的性能、可扩展性、可靠性和价值。由此，我们推出了如下两种方案：

针对25G接入100G骨干场景：

NVIDIA SN3700C + SN3420组合方案:

SN3700C 是高密度 32x100GbE SPINE Switch

SN3420 是具有原生 25GbE 端口的LEAF Switch，支持 48x25GbE 和 8x100GbE 端口

也可也选择NVIDIA SN2700（32x100GbE） + SN2410（ 48x25GbE 和 8x100GbE）组合方案，时延可低至300ns，满足更低时延需求。

针对100G接入400G骨干场景：

NVIDIA SN4700 + SN4410组合方案：

SN4700 是高密度 32x400GbE SPINE Switch

SN4410 支持48x100GbE 和 8x400GbE 端口，QSFP28-DD接口可一分二QSFP28，提供100G的接入能力，用于连接主机100G接口，或者下一级100G上联口。

我们的优势

高性能100/200/400 GbE数据平面

网络是数据中心服务器流量的自然汇聚点。不同租户流量之间的网络性能和“公平性”至关重要。

NVIDIA Spectrum交换机具有完全共享的整体式数据包缓存架构，可实现公平带宽共享。支持所有数据包大小的 100/200/400 GbE 流量的无阻塞线速L3服务，且SN2000系列在直通模式下支持 300ns 的零抖动延迟支持。是高性能低延迟需求的理想选择。

RoCE over EVPN-VXLAN

数据中心网络部署方案和产品越来越成熟和标准化，有效的提升了业务部署的速度，并降低运维的成本。于此同时，业务需求推动数据中心应用也对基础设施提出更高的需求，包含算力，存储和网络资源。为了能匹配上层需求，算力/存储/网络资源的横向扩展，就网络设计而言，网络虚拟化需要在提升规模的同时，对于高性能的业务提供支持。网络虚拟化与RoCE的结合，使得大型高性能数据中心的方案更加完整。

WJH功能快速故障定位，提升运维效率

实时的网络故障可视化监控，是运维大规模网络比不可少的技术手段。现代数据中心的技术要求也证明了，简化组网协议，深度实时的网络可视化能力，是整体技术发展的趋势。NVIDIA Spectrum 交换机通过 NVIDIA What Just Happened（故障快照）支持详细的上下文遥测数据。故障快照可在问题发生后，以异常事件的形式上送给网管或者第三方监控平台，并提供报文抓取和芯片级的问题原因。无论是否为配置问题，运维人员可以直接看到故障影响的业务和原因，进而快速的采取措施，排除异常，从而大大缩短了解决问题的平均时间。

总结和展望

根据企业数据中心的发展趋势和技术预测，数据中心将逐步分布式化，多数据中心也正逐渐成为数据中心发展的趋势，网络技术作为数据中心基础设施的重要一环，也将持续打造超高速网络连接，提升系统访问效率和用户服务体验。

NVIDIA Spectrum 以太网交换机Cumulus Linux为业界带来了第一个开放且无控制器VXLAN 解决方案。它将高度可扩展的 BGP EVPN与VXLAN 解决方案相结合，在许多大型数据中心通过Spine-Leaf架构在整个网络中提供出色的弹性和低延迟，根据需要轻松进行水平扩展，推动数据中心网络的高质量发展。