8125B连i226跑不满?原是螃蟹驱动问题。关于2.5G网卡的坑。。

pio9999 2024-03-22 发布于广西

展开全文

本帖最后由 gasment 于 2023-10-9 15:52 编辑

具体表现为：（iperf3 单线、多线程测试,8125b为PC端）
1、i226连接i226，双向上传下载都可以跑满
2、8125b连接i226，i226发送到8125b可以跑满，8125b发送到i226只有1.4G左右
3、8125b连接i226，同时压测上传下载，均掉到1.4G，结束测试也不能恢复正常速率，重启设备后恢复

解决过程：
1、更换i226所在系统固件，无效
2、调整8125B驱动各种参数，无效
3、卸载PC端驱动，更换为官网最新的无节能支持的驱动，问题解决
官网驱动下载页：https://www./zh/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software
注意选择【Not Support Power Saving】的版本，如【Win11 Auto Installation Program (NetAdapterCx) - Not Support Power Saving】

也借此机会，发表下玩AIO 2.5G网卡选择的坑：

本帖隐藏的内容

如果你选择ESXI做底层

esxi挑网卡，但是有第三方vib软件包驱动，但但是，部分驱动还是有问题；
ESXI对intel的网卡支持是比较积极的，原生驱动大部分intel网卡，包括SR-IOV功能，价格合适优先选择intel卡；
其次是博通的卡，也有部分原生支持，其中就有经典款BCM5719；
螃蟹卡，可以使用8111、8168之类的1G卡，而且需要ESXI版本不高于6.7，且需要自己安装驱动，配置完是可以稳定使用的，至于2.G的8125b，除非全部用来直通，否则是不推荐的：r8125的vib驱动只能用在6.7版本，我的卡，会不定时端口假死，需要重新拔插网线恢复，你不一定会遇到，但是遇到了你会很难受；
esxi的网卡直通是很无脑的，绝大部分网卡都是点点鼠标就好

如果你选择PVE做底层

PVE不挑网卡，由于基于Debian，自带市面绝大部分网卡驱动，即使没有，安装驱动也很容易，毕竟系统开放；
但是基于本人使用经验，出事的还得是8125b，pve中，8125b默认不使用专用的r8125驱动，而是其他型号的兼容驱动，在PVE7时这个驱动是没问题的，但是到了PVE8,可能是升级到了Debian12，这个驱动会导致8125b link down后再也无法link up，相当于无法热插拔了，重启解，当然还是那句：你不一定会遇到，但是遇到了你会很难受；
PVE8里安装r8125专用驱动，卸载掉自带兼容驱动可以解决这个问题，但是这个兼容驱动同时驱动着8111、8168等千兆卡，如果你aio里同时有8111和8125b这两种卡，你又得难受一次，翻遍全网找一个一山容二虎的方法；最好方法就是降级PVE，或者不选择8125b
还有一个问题是，关于iommu分组。PVE中的PCI设备，很多时候都是共用一个iommu分组，同一分组的设备，是不能单独直通其中一个的，需要我们关掉 pci acs检查来强制分组；在我的使用过程中发现，对于8125b/i225/i226等这种使用PLX来桥接多网卡芯片的方案，强制分组很稳定，但是对于单芯片多端口的服务器卡，我测试到的intel 82576和BCM5719，均出现了随机性分组失败，即使分组成功，只要直通出去，虚拟机一打开，宿主机便死机的情况，但是底层换成esxi却没有这样的问题。。。

UNRAID的也是基于KVM的虚拟化，按道理也是同PVE一样的问题，但是本人使用UNRAID时间不长，测试不出来什么东西

openwrt：绝大部分固件编译者集成r8168、igb，tg3有部分不集成，igc较新的也会集成；
DSM:使用arpl引导，自带r8168、r8125、igb、igc、tg3驱动
truenas scale,底层debian,兼容绝大部分常见网卡
truenas core,底层freeBSD,最新版13，自带igb、igc、r8125、r8168(r8125需修改配置开启），tg3能识别但配置ip后无法link up(本人情况）

2.5G的4口卡，目前价格都不低，问题也不少，要上车的同学得做足功课啊，不然试错是个无底洞。。。