2023年7月23日发(作者：)

【RDMA】infiniband⽹卡安装ib⽹卡命令ibdump⽤法说明⽬录

原⽂：

最近多次安装、使⽤infiniband⽹卡，每次都要到处寻找相关资料，所以决定做此总结，⽅便查找。1. 基础知识⾸先，得了解什么是RDMA，贴⼏个资料：然后得了解如何实现，这两个可以有个初步了解：编程过程，真正有⽤的还是官⽅的⼿册：mellanox官⽅社区能找到很多你需要的东西：也下了个中⽂版，但我感觉英⽂版看着更好。中⽂版下载：百度云: 提取码: rm8i蓝奏云： 密码: 4apsRDMA编程⼊门可参考的项⽬：2. 驱动安装1. 下载驱动，进⼊⽹站选择相应系统和软件版本，archive versions这⾥可以下载旧版本驱动ubuntu16.04平台5.0-2.1.8.0的下载链接为：wget /ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_版本5.1之后链接细微变化，ubuntu18.04平台5.1-2.5.8.0的下载链接为：wget /downloads/ofed/MLNX_OFED-5.1-2.5.8.0/MLNX_OFED_LINUX-5.1-2.5.8.0-ubuntu18.04-x86_其它平台和版本的驱动，可以⾃⼰修改。2. 挂载或解压，如果下载的iso则挂载，若是tgz就解压，下⾯是挂载命令：sudo mount -o ro,loop MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_ /mnt3. 安装cd /mnt sudo ./mlnxofedinstall可能会提⽰你安装⼀堆东西，复制，安装就可以了。安装成功截图：4. 执⾏以下命令：sudo /etc/init.d/openibd restart sudo /etc/init.d/opensmd restart5. 查看⽹卡状态：sudo hca_self_没有 failed 就对了。⼀些其它查看⽹卡信息的命令：ibstat ibstatus ibv_devinfo ibv_devices #查看本主机的infiniband设备 ibnodes #查看⽹络中的infiniband设备 3.配置IP

⾃⼰的实践service network status 查看活动状态重启：ifdown enp61s0f0 关闭⽹卡ifup enp61s0f0 开启⽹卡ethtool enp61s0f0 查看当前状态

vim /etc/sysconfig/network-scripts/ifcfg-enp61s0f0

TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-privacyNAME=enp61s0f0UUID=e95aa0ab-7fab-47ab-8536-de06f982807aDEVICE=enp61s0f0ONBOOT=yesIPADDR=182.200.31.59NETMASK=255.255.255.0

重启：ifdown enp61s0f0 关闭⽹卡ifup enp61s0f0 开启⽹卡ubuntu执⾏：sudo vim /etc/network/interfaces在⽂件中添加如下内容：auto enp1s0 iface enp1s0 inet static address 172.16.0.104 netmask 255.255.255.0 broadcast 172.16.0.255enp1s0是⽹卡名称，通过ifconfig查看，address是要给infiniband⽹卡配置的ip地址。重启⽹络服务：sudo service networking restartcentos执⾏：sudo vim /etc/sysconfig/network-scripts/ifcfg-ib0添加如下内容：DEVICE=ib0 BOOTPROTO=static IPADDR=172.16.0.104 NETMASK=255.255.255.0 BROADCAST=172.16.0.255NETWORK=172.16.0.0 ONBOOT=yes重启⽹⼝：sudo ifdown ib0 sudo ifup ib0 4. 性能测试1. 服务端运⾏：ib_send_bw -a -c UD -d mlx4_0 -i 1注意，参数 -i 指定端⼝，在⼀个⽹卡有多个⽹⼝的时候，需要指定测试的端⼝，具体哪个端⼝，通过 ibstatus 可以看到。2. 客户端运⾏：ib_send_bw -a -c UD -d mlx4_0 -i 1 172.16.0.102最后⾯的ip地址是服务端infiniband⽹卡的ip地址。1. 其他测试项ib_atomic_bw ib_atomic_lat ib_read_bw ib_read_lat ib_send_bw ib_send_lat ib_write_bw ib_write_latbw表⽰测试带宽，lat表⽰测试延迟，参数同上，可以i通过 --help 查看。其他测试⼯具说明：测试⼯具源码：5. 其他问题更换⽹卡⼯作模式：有些⽹卡，当你安装好驱动后，通过 ibstatus 命令，会出现下⾯的情况：可以看到，该⽹卡现在处于 Ethernet 的⼯作模式，如果想要切换成infiniband模式，参考如下链接：查看当前⼯作模式：sudo /sbin/connectx_port_config -s输⼊以下命令切换⼯作模式：sudo /sbin/connectx_port_config如果提⽰如图，说明不⽀持infiniband模式，否则，就切换成功了，再次使⽤⼀下命令可以验证：sudo /sbin/connectx_port_config -s不能切换到infiniband⼯作模式，并不代表不⽀持RDMA，处于Ethernet模式的⽹卡使⽤ RoCE 协议⼯作。RDMA 协议：底层可以是以太⽹（ RoCE 或者 iWARP ）或者 Infiniband有些⽹卡只⽀持Ethernet（RoCE），不⽀持Infiniband模式，也就是想从Ethernet切换到Infiniband模式时不能成功，这个要提前了解好。我⽬前了解到的，Connectx-3只⽀持Ethernet模式。

RDMA 、InfiniBand、IB卡、IB驱动的关系

1、RDMA 是⼀种技术（远程直接内存访问技术），如何实现这种技术呢？2、实现这种技术你可以选择⽤ Infiniband 协议。（当然你也可以使⽤其他协议，eg：roce、iwarp）3、如果你使⽤ Infiniband 协议，这个协议作为⼀个新⼀代⽹络协议。它必须依靠专门的硬件才能实现。eg：专⽤INC（⽹卡）—— IB卡，或者专⽤交换机。4、当你在服务器上安装了IB卡之后，你还得安装 IB驱动，才能使⽤ infiniband 。原⽂链接：/ljlfather/article/details/102930714

ibdump ⽤法说明

[root @ rdma64 ibdump-master]＃ibdump -h ibdump-dump Mellanox Technologies ConnectX ⽹卡的 Infiniband 数据包 可以⽣成⽂件给Wireshark进⾏图形流量分析⽤法： ibdump [选项]选项： -d，--ib-dev = 使⽤IB设备（找到默认的第⼀个设备） -i， --ib-port = <端⼝>使⽤IB设备的端⼝<端⼝>（默认1） -w，-write = <⽂件> 结果保存到⽂件（默认为“ ”） “-”代表标准输出-启⽤管道传输到tcpdump或tshark。 -o，--output = <⽂件>是-w选项的别名。不使⽤-为了向后兼容 -b，--max-burst = log2的最⼤突发⼤⼩ 捕获⽽没有数据包丢失。 每个条⽬占⽤〜MTU字节的内存（默认12-4096个条⽬） -s，-silent不打印进度指⽰。 -T，--conti使⽤连续页⾯。 -M，--mem-mode <⼤⼩>（指定时），仅在抓包动作停⽌后才将包写⼊⽂件，它⽐默认模式快（丢包更少） ，但占⽤更多内存。在这种模式下，ibdump在捕获个字节后停⽌ -p，--writer-thread <⼤⼩>使⽤特定线程将数据写⼊磁盘。为了使⽤此功能，您必须指定 两个临时缓冲区的⼤⼩，⽤于保存数据给线程写⼊磁盘 --decap 解封装端⼝镜像的headers。⽤于捕获RSPAN流量时需要启⽤。 -h，--help显⽰此帮助屏幕。 -v，--version打印版本信息。

⽤法：[root@tuki1 ~]# ibdump -d mlx5_0 -i 1

其他⽂章《Infiniband的驱动安装与配置》：