有没有懂Infiniband网络和ROCE的?

blackeyed

今天折腾了一下ROCE(RDMA)win server上开的内存盘, win client上用crystal测速
关闭roce的情况下, 连续读取4500 连续写入2500
开启roce v1的情况下, 连续读取4600 连续写入4500, 4k的速度提高了50%
cpu占用降低了一半

cpu占用这块虽然效果明显, 不过还是和我预期有点区别, 我以为cpu会几乎不动, 没想到还是要占很多, 不是说好的RDMA不过OS和CPU的吗……(我的1950X做的server,跑测速的时候占用40%, 开启roce占用20%)
不知道roce是不是就这样的效果了

突然有点想试试看ib网络了, 毕竟ib网络是为RDMA而生  
有没有懂ib网络的, 我想求教一下, 如果我的电脑接入了ib网络, 电脑又想上internet的话, 是不是以为必须用两张网卡(口), 一个接ib,一个接internet


对了, win的smb direct就是用的roce, win10的企业版和专业工作室版都有smb direct, 但是必须配合win server当服务器才有效

blackeyed

HyperIris 发表于 2020-4-14 09:40
ib是ib卡不是以太网卡，ib线是ib线不是n类线

光纤线和模块应该是通用的吧……

好多大象啊

ib走san网络的，是底层协议，就和eth走lan，或者用atm走wan，发送的01不是一种同一种格式，网卡没这么智能直接切换，
的确有 10GE/40GE 的 ETH网卡兼容IB的8GE/54GE，但是交换机的构造就完全不一样了，因为毕竟ib底层是点对点的，且是无丢包的先确认缓冲区的发送方式，没办法和ppp一样使用eth做底层来实现pppoe。
你可以用PC直连另一台存储设备，这两台设备的网卡对接只运行在ib上。没办法用eth交换设备来同时跑这两个协议的

FujiZ

如果是说到 CPU 占用的话，RoCE 和 InfiniBand 应该没有大的差别，因为 RoCE 也是把对数据包的处理 offload 到 NIC 上了，可能 InfiniBand 的峰值 throughput 要更高一些。
不过现在的 DC 内部基本都是 RoCEv2 的方案，很少有直接部署 InfiniBand 的，因为它和现有的以太网交换机不兼容。

阴摩罗鬼之眼

CPU占用问题，你可以通过阵列卡来解决吧

blackeyed

好多大象啊 发表于 2020-4-14 11:04
ib走san网络的，是底层协议，就和eth走lan，或者用atm走wan，发送的01不是一种同一种格式，网卡没这么智能 ...

网卡有兼容的, 56G/40G这样, 不过也是要切换, 不能同时跑在两个网络 (不过网卡有两个口, 可以分别跑在不同的网络)

就是不知道有没有交换设备, 是能把一路client线路分别联通eth和ib的……不过看你楼下说ib都要被淘汰的感觉, 一下也没兴趣弄了

rocev2和v1应该效率和cpu占用上没有区别吧? 我看介绍只是mac层和ip层的区别 (便宜一点的网卡也只支持v1)

好多大象啊

blackeyed 发表于 2020-4-14 14:53
网卡有兼容的, 56G/40G这样, 不过也是要切换, 不能同时跑在两个网络 (不过网卡有两个口, 可以分别跑在不 ...

硬件实现的化，对cpu开销应该没区别，都是nic进来，dmac识别解封装，给cpu中断。
不过v2的L3用的是ip/udp，如果有丢包错包，那么重传效率上可能更好，不过我也不确定v1的重传机制是怎么搞的，毕竟ib协议不考虑这个。

FujiZ

blackeyed 发表于 2020-4-14 14:53
网卡有兼容的, 56G/40G这样, 不过也是要切换, 不能同时跑在两个网络 (不过网卡有两个口, 可以分别跑在不 ...

CPU 占用应该没啥区别。v2 因为有 IP 头所以可以跨越广播域进行传播，而 v1 只能工作在同一个广播域下；另外 v2 因为有 UDP 头，所以可以直接利用已有的 ECMP 等负载均衡机制。

blackeyed

FujiZ 发表于 2020-4-14 15:38
CPU 占用应该没啥区别。v2 因为有 IP 头所以可以跨越广播域进行传播，而 v1 只能工作在同一个广播域下； ...

v1也可以配合交换机用fcp, 不过我看了下有点复杂, 我还是用flow control就好了, 简单傻瓜一点, 效果我还没试, 准备明天试下开启fc对速度和cpu占用有没有区别