|
NVLink是NVIDIA开发的一种技术，用于在GPU（也可用于GPU跟CPU）之间进行点对点的高速互连。它旨在克服PCIe互连的带宽限制，实现低延迟、高带宽的GPU芯片间数据通信，使它们能更高效地协同工作。在引入NVLink技术之前（2014年之前），GPU必须通过PCIe交换机进行互连，如下图所示。GPU的信号必须首先经过PCIe交换机，其中数据处理涉及CPU分发和调度，这增加了额外的网络延迟并限制了系统性能。当时，PCIe协议已达到第3代，单通道速率为8Gb/s，共16个通道，总带宽为16GB/s（128Gbps，1字节=8位）。随着GPU芯片性能不断提高，其互连带宽成为瓶颈。 
2014年，NVLink 1.0发布并应用于P100芯片，如下图所示。两个GPU 之间有四个NVlink，每条链路包含8个通道，每个通道的速率为20Gb/s。因此，整个系统的双向带宽为160GB/s((20*8*4*2)/8=160GB/s)，是PCIe3 x16的5倍。每个NVLink由16对差分线组成，对应两个方向的8个通道，如下图所示。差分对的两端是PHY，其中包含SerDes。 
基于NVLink 1.0，可以形成四个GPU的平面网格拓扑，每对GPU之间都有点对点连接。八个GPU对应一个立方体网格，可以组成一个DGX-1服务器。这也对应常见的八卡配置，如下图所示。需要注意的是，此时八个GPU并没有形成一个全连接。 
2017年，英伟达推出了第二代NVLink技术。它将两个GPU V100芯片与六个NVLink连接起来，每个NVLink由八个通道组成，每通道速率提升至25Gb/s，系统双向带宽达到300GB/s((25*8*6*2)/8=300GB/s)，几乎是NVLink 1.0的两倍。同时，为了实现八个GPU之间的全互连，Nvidia引入了NVSwitch技术。NVSwitch 1.0有18个端口，每个端口的带宽为50GB/s，总带宽为900GB/s。每个NVSwitch保留两个用于连接到CPU的端口。使用6个NVSwitches，可以建立8个GPU V100芯片的全连接，如下图所示。
DGX-2 系统由两块板组成，如下图所示，实现了16个GPU芯片的全连接。2020年，NVLink 3.0技术应运而生。它将两个GPU A100 芯片与12个NVLink连接起来，每条链路包含四个通道，每通道速率为50Gb/s，系统双向带宽达到600GB/s，是NVLink 2.0的两倍。随着 NVLink 数量的增加，NVSwitch上的端口数量也增加到36个，每个端口的速率为50GB/s。DGX A100 由8个GPU A100 芯片和4个NVSwitch组成，如下图所示。NVlink 4.0 2022年，NVLink技术升级到第四代，允许两个GPU H100芯片通过18个NVLink链路互连，每个链路包含2个通道，每个通道支持100Gb/s （PAM4）的速率，从而双向总带宽增加到900GB/s。NVSwitch也升级到了第三代，每个NVSwitch支持64个端口，每个端口速率为50GB/s。 DGX H100由8个H100芯片和4个NVSwitch组成，如下图所示。在每个NVSwitch的另一侧，连接了多个800G OSFP光模块。以左边第一个NVSwitch为例，其连接GPU的一侧的单向总带宽为4Tbps（4*5NVLink*200Gbps），连接光模块的一侧的总带宽也是4Tbps（5*800Gbps），两者大小相等，形成无阻塞网络。 *需要注意的是，光模块中的带宽是单向带宽，而在AI芯片中，一般采用双向带宽。 
下表显示了每一代PCIe的参数。 
从单通道的速率来看，NVLink通常是同期PCIe的两倍左右，总带宽的优势更为明显，NVLink大约是PCIe总带宽的五倍。经过近十年的发展，NVLink已成为英伟达GPU芯片的核心技术，成为其生态系统的重要组成部分，有效解决了GPU芯片之间高带宽、低延迟的数据互连问题，改变了传统的计算架构。然而，由于这项技术是英伟达独有的，其他AI芯片公司只能使用PCIe或其他互连协议。同时，英伟达正在探索使用光学互连来实现GPU之间的连接，如下图所示，其中硅光子芯片和GPU共同封装在一起，光纤连接两个GPU芯片。——————————End——————————
|
