PCIe 4.0 SAS＋NVMe RAID/HBA卡：最高读IOPS 300万、写24万

大家还记得LSI吧：）

首先请原谅我又怀个旧。从LSI到Avago再到Broadcom的并购史就不详细讲了，对这些故事不熟的朋友可以简单参考下图。

2016年9月我写过《RAID卡未来之路：除了NVMe还有啥？》，如今回过头来看看当年的Roadmap，哪些产品没有出来，想想取消的原因也有点意思。

上图就是新一代PCIe 4.0 RAID卡中的MegaRAID9560-16i，16个内部SAS/SATA/NVMe三模HDD/SSD接口。卡的右端连接器和上一代有点变化，从x4 lane的SFF-8643换成了x8 lane的SFF-8654——后者其实我们已经在服务器主板和热插拔背板上见过不少了，比如下图：

从PCIe 3.0 x16到PCIe 4.0 x8

下面我们主要围绕SAS/NVMeRAID卡和HBA的主控芯片来讨论，毕竟大的服务器品牌往往不会直接用Broadcom自有品牌的卡，而规格参数和性能基本上还是决定于芯片。

上面这款SAS3616W芯片几年前我还没介绍过，严格说它只算Tri-Mode三模IOC控制器的“半代升级”。因为之前SAS34xx/35xx的PCIe 3.0 x8主机接口，连接SSD特别是NVMe数量多了之后实在是个瓶颈，于是后来就有了这款PCIe 3.0 x16 SAS3616W。

请注意，之前用于HBA（不带缓存，非硬件RAID）卡的IOC芯片只是单核ARMA15 1.2GHz，最近的新品就不同了。

SAS/SATA HBA（IOC）的地位提升

如上图，支持PCIe 4.0的新一代IOC和RoC（RAIDon Chip），从SAS3808开始全部都是双核ARM A15 1.6GHz了，从L1和L2 Cache来看架构变化应该不大。最主要的一点是主机和设备端接口都支持PCIe 4.0，下面看看性能指标。

从215万IOPS判断非原生NVMe RAID？

等继续讲到下面的表格，其实上图中的300万4K随机读/随机写IOPS，8端口（设备端）的SAS3808应该是达不到的。稍后大家就会明白怎么回事，Broadcom的资料复制、粘贴出点小错误我倒是并不意外。13,700 MB/s的带宽相对于接近16GB/s的x8 PCIe Gen4理论带宽来说，效率也还算可以了。

上图中写PCIe Port（Lanes）的“12 Gb/s”速率，请大家自己脑补纠正成16 Gb/s。大家注意下这里写SAS3808的4K随机读IOPS是215万，比同一份资料里的300万要低哦？

再看16端口的SAS3816 IOC芯片，我们计算下3M 4KB IOPS换算成带宽应该是11718MB/s，理论上8端口的SAS3808如果通过PCIe 4.0 Switch转接SSD（最多连32个NVMe盘）的话，有可能达到这一水平。

几款芯片的ARM处理能力一样，那么SAS3808实际的2.15M IOPS，是不是有点像受到8个12Gb/s SAS端口的带宽限制呢？尽管从2016年正式发布的三模RAID/HBA产品已经是SAS&NVMe兼容PHY，但还没有说原生NVMe。现在的新品还依然受到MegaRAID SAS RAID架构的限制吧？

如上图，SAS3916是用于硬件RAID卡的SAS/SATA/NVMe控制器，除了16端口还有8端口的SAS3908，这份资料终于把PCIe 4.0的速率写对了。

同样是在4年前的《服务器SSD RAID性能速查手册》一文中，曾经以LSISAS3108芯片的Dell PERCH730p RAID卡举例，当时在PassThrough直通模式可以测到100万IOPS（8-12块SAS SSD）。

那么，如今的SAS3916如果RAID随机读真能跑到300万IOPS也不错了，毕竟现在企业级PCIe 4.0 NVMe SSD单盘有些已经达到100万IOPS（如Intel SSD D7-5500和5600）。至于RAID 5随机写IOPS嘛，24万只能说比以前好，如果使用3D XPoint Memory介质的IntelOptane P4800X或者900P系列，单盘读写都有50万IOPS。

举报