CX5ConnectX-5的链路类型IB / ETH / VPI是用MFT 工具集里的mlxconfig查看和修改的改完后需要复位网卡生效。下面是完整流程。1. 准备安装/启动 MFTmlxconfig来自 NVIDIA MFTMellanox Firmware ToolsMLNX_OFED 安装时会带上也可单独安装mft包。然后启动 mst 驱动sudomst startsudomst status输出类似MST devices: ------------ /dev/mst/mt4119_pciconf0 - PCI configuration cycles access. domain:bus:dev.fn0000:65:00.0 addr.reg88 data.reg92 cr_bar.gw_offset-1 Chip revision is: 00mt4119就是 ConnectX-5记下设备路径机器上若有两张 CX5会有 pciconf0、pciconf1 两个节点。2. 查看当前协议模式sudomlxconfig-d/dev/mst/mt4119_pciconf0 q|grep-ilink_type典型输出LINK_TYPE_P1 IB(1) LINK_TYPE_P2 IB(1)取值含义值模式说明IB(1)InfiniBand 模式RoCEv2 不可用ETH(2)以太网模式RoCEv2 跑的就是这个模式VPI(3)自动协商由对端决定建议显式固定也可以用软件侧确认查看/sys/class/infiniband/mlx5_x/ports/1/link_layer内容为InfiniBand或Ethernet。3. 设置为以太网模式CX5 556A 是双口卡两个口分别配置sudomlxconfig-d/dev/mst/mt4119_pciconf0setLINK_TYPE_P12LINK_TYPE_P22输出会提示Apply new Configuration? (y/n) [n] : y Applying... Done! -I- Please reboot machine to load new configurations.两张卡则对 pciconf0 和 pciconf1 各执行一次。4. 复位使配置生效# 方式一热复位不必整机重启sudomlxfwreset-d/dev/mst/mt4119_pciconf0 reset-y# 方式二直接重启sudoreboot5. 验证复位后重新查询确认已变为ETH(2)sudomlxconfig-d/dev/mst/mt4119_pciconf0 q|grep-ilink_type# LINK_TYPE_P1 ETH(2)# LINK_TYPE_P2 ETH(2)系统侧确认cat/sys/class/infiniband/mlx5_0/ports/1/link_layer# 应输出 Ethernetibstat# 此时不再是 IB 端口ibstat 可能查不到属正常rdmalink# 可见 mlx5_0/1 等 RDMA 设备link 类型为 Ethernetip-brlink# 以太网口 netdev 出现如 enp101s0f0/f16. 确认 RoCEv2 生效以太模式下 RoCE 才有意义。新版 MLNX_OFED 默认协商 RoCEv2可显式检查/设置# 查看某端口当前 RoCE 版本1RoCEv1, 2RoCEv2较新的linux kernel中没有例如6.8等。cat/sys/class/infiniband/mlx5_0/ports/1/roce_enable# 通过 GID 表确认v2 的 GID 带 RoCE v2 标记show_gids|grepmlx5_0跑 RDMA 前记得给以太口配好 IP同一子网直连即可并建议开启 PFC 或使用 ECN 做无损/低损网络然后就可以用ib_write_bw、ib_read_lat等 perftest 工具走 RoCEv2 验证了。注意改链路类型会清除该口的 IB 子网配置改回 IB 也是同一条命令LINK_TYPE_Px1。如果mlxconfig q报Failed to open device先确认mst start已执行且设备节点名正确。
CX5ConnectX-5的链路类型IB / ETH / VPI是用MFT 工具集里的mlxconfig查看和修改的改完后需要复位网卡生效。下面是完整流程。1. 准备安装/启动 MFTmlxconfig来自 NVIDIA MFTMellanox Firmware ToolsMLNX_OFED 安装时会带上也可单独安装mft包。然后启动 mst 驱动sudomst startsudomst status输出类似MST devices: ------------ /dev/mst/mt4119_pciconf0 - PCI configuration cycles access. domain:bus:dev.fn0000:65:00.0 addr.reg88 data.reg92 cr_bar.gw_offset-1 Chip revision is: 00mt4119就是 ConnectX-5记下设备路径机器上若有两张 CX5会有 pciconf0、pciconf1 两个节点。2. 查看当前协议模式sudomlxconfig-d/dev/mst/mt4119_pciconf0 q|grep-ilink_type典型输出LINK_TYPE_P1 IB(1) LINK_TYPE_P2 IB(1)取值含义值模式说明IB(1)InfiniBand 模式RoCEv2 不可用ETH(2)以太网模式RoCEv2 跑的就是这个模式VPI(3)自动协商由对端决定建议显式固定也可以用软件侧确认查看/sys/class/infiniband/mlx5_x/ports/1/link_layer内容为InfiniBand或Ethernet。3. 设置为以太网模式CX5 556A 是双口卡两个口分别配置sudomlxconfig-d/dev/mst/mt4119_pciconf0setLINK_TYPE_P12LINK_TYPE_P22输出会提示Apply new Configuration? (y/n) [n] : y Applying... Done! -I- Please reboot machine to load new configurations.两张卡则对 pciconf0 和 pciconf1 各执行一次。4. 复位使配置生效# 方式一热复位不必整机重启sudomlxfwreset-d/dev/mst/mt4119_pciconf0 reset-y# 方式二直接重启sudoreboot5. 验证复位后重新查询确认已变为ETH(2)sudomlxconfig-d/dev/mst/mt4119_pciconf0 q|grep-ilink_type# LINK_TYPE_P1 ETH(2)# LINK_TYPE_P2 ETH(2)系统侧确认cat/sys/class/infiniband/mlx5_0/ports/1/link_layer# 应输出 Ethernetibstat# 此时不再是 IB 端口ibstat 可能查不到属正常rdmalink# 可见 mlx5_0/1 等 RDMA 设备link 类型为 Ethernetip-brlink# 以太网口 netdev 出现如 enp101s0f0/f16. 确认 RoCEv2 生效以太模式下 RoCE 才有意义。新版 MLNX_OFED 默认协商 RoCEv2可显式检查/设置# 查看某端口当前 RoCE 版本1RoCEv1, 2RoCEv2较新的linux kernel中没有例如6.8等。cat/sys/class/infiniband/mlx5_0/ports/1/roce_enable# 通过 GID 表确认v2 的 GID 带 RoCE v2 标记show_gids|grepmlx5_0跑 RDMA 前记得给以太口配好 IP同一子网直连即可并建议开启 PFC 或使用 ECN 做无损/低损网络然后就可以用ib_write_bw、ib_read_lat等 perftest 工具走 RoCEv2 验证了。注意改链路类型会清除该口的 IB 子网配置改回 IB 也是同一条命令LINK_TYPE_Px1。如果mlxconfig q报Failed to open device先确认mst start已执行且设备节点名正确。
