喜迎
元旦
ceph over rdma(上) | 奋斗的松鼠 - Blog

ceph over rdma(上)

字数统计: 2.1k字   |   阅读时长≈ 9分

rdma初体验

写在前面

松鼠哥的ceph专业课程上线啦！
面向新手同学，从0实战，全面入门ceph安装部署与运维，有需要的同学赶紧扫码订购吧：

最近准备上一个大规模的冷存储集群，准备尝试上rdma，此前没有做过太多调研，因此最近开始鼓捣这块

早前有读者朋友问是否搞过ceph over dpdk，个人认为，跟rdma相比，dpdk对ceph的帮助没有那么大，dpdk是主要做用户态的数据转发为主，如果是针对网络设备的数据转发，用dpdk确实可以得到非常高的性能，但是ceph节点通常都是内部局域网流量更大，路由转发场景少一些，所以个人觉得研究rdma的价值会更大一些

本篇主要介绍rdma的基本概念及centos7的rdma配置，ceph相关的配置测试安排在下篇，敬请期待

dma与rdma

dma(直接内存访问)想必大家都很熟悉，它允许直连主板的设备将数据搬运到内存中而期间无需cpu过问，cpu只在其数据传输的开头和结束时才参与，从而提高了效率

rdma(远程直接内存访问)则将这个概念进一步延伸到跨节点之间，从一台设备的某个进程的内存空间，向另外一个节点的某个进程的内存空间传输数据，其只在开始和结束时需要cpu参与，其余时间cpu完全不需要参与，而且，这部分数据走的是用户态<–>用户态之间的通道，其实现的协议封装在网卡之中硬件实现，使得这个过程避开了内核的参与，也避开了协议栈的参与，从而提高了效率

rdma的三种具体实现

InfiniBand

IB，从设计之初就支持rdma，定位高端，需要专用的IB卡和IB交换机，主要特点是带宽高(最大可以支持100G甚至更高)、延时低、可靠性极强(卡和交换机可以连续使用数年甚至数十年都不坏)，最大的缺点就是贵，IB交换机妥妥的都要上百万一台，二手的也不便宜，不过可靠性好，有意愿上IB的可以搞点二手的看看(以前玩过二手的，体验极佳)

RoCE(RDMA over Ethernet)

相比IB，性能依旧非常强悍，但是在成本上下降很多，需要专用的网卡，但是整体设备下来没那么贵，性价比很不错

另外，RoCE有一种内核实现的Soft-RoCE，它允许内核在没有硬件支持的情况下使用RoCE，说实话如果是为了学习rdma倒是可以尝试搞一下，如果是上生产真没必要，还不如光口做bond来得省事，软件实现个人感觉很鸡肋

iWARP(RDMA over TCP)

允许标准以太网设备跑rdma，网卡支不支持iWARP都能跑，支持的话就网卡分担一些计算，不支持的话就纯内核跑，个人感觉更鸡肋，实验环境玩玩就算了，上生产估计没人这么搞

总结一下，要跑rdma上生产，最起码也要买点mellanox的网卡， ConnectX-3或者ConnectX-4这些，RoCE性价比真的可以，也不是很贵，用纯软件实现的话跑跑实验环境，学习一下rdma程序开发还行，千万不要拿到生产上用，为了省点成本搞这些复杂的玩意儿真没必要

开始

有了基础知识以后，我们开始准备系统环境

首先我们要确定一下机器上插入了哪些rdma的NIC

1
2
3
4
5
[twj@rdma-test1 ~]$ lspci|grep Mellanox
5e:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
5e:00.1 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
5f:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
5f:00.1 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]

2张ConnectX-4的卡，4个口，事实上我们是准备要做bo，根据具体的信息，我们要去官网下载对应版本的驱动，MLNX驱动下载，根据平台选择对应驱动，我们这下载的是这个

1
MLNX_OFED_LINUX-5.4-3.0.3.0-rhel7.6-x86_64.iso

ok，接下来把驱动装上，过程挺简单的

1
2
[root@rdma-test1 twj]# mount -o ro,loop  MLNX_OFED_LINUX-5.4-3.0.3.0-rhel7.6-x86_64.iso /mnt
[root@rdma-test1 twj]# /mnt/mlnxofedinstall --force

查看一下基本状态，看到这样的输出，表示驱动没有问题了

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
[root@rdma-test1 twj]# hca_self_test.ofed

---- Performing Adapter Device Self Test ----
Number of CAs Detected ................. 4
PCI Device Check ....................... PASS
Kernel Arch ............................ x86_64
Host Driver Version .................... MLNX_OFED_LINUX-5.4-3.0.3.0 (OFED-5.4-3.0.3): 3.10.0-957.el7.x86_64
Host Driver RPM Check .................. PASS
Firmware on CA #0 NIC .................. v14.31.2006
Firmware on CA #1 NIC .................. v14.31.2006
Firmware on CA #2 NIC .................. v14.31.2006
Firmware on CA #3 NIC .................. v14.31.2006
Host Driver Initialization ............. PASS
Number of CA Ports Active .............. 4
Port State of Port #1 on CA #0 (NIC)..... UP 1X EDR (Ethernet)
Port State of Port #1 on CA #1 (NIC)..... UP 1X EDR (Ethernet)
Port State of Port #1 on CA #2 (NIC)..... UP 1X EDR (Ethernet)
Port State of Port #1 on CA #3 (NIC)..... UP 1X EDR (Ethernet)
Error Counter Check on CA #0 (NIC)...... PASS
Error Counter Check on CA #1 (NIC)...... PASS
Error Counter Check on CA #2 (NIC)...... PASS
Error Counter Check on CA #3 (NIC)...... PASS
Kernel Syslog Check .................... PASS
Node GUID on CA #0 (NIC) ............... 0c:42:a1:03:00:ad:58:b2
Node GUID on CA #1 (NIC) ............... 0c:42:a1:03:00:ad:58:b3
Node GUID on CA #2 (NIC) ............... 0c:42:a1:03:00:ad:4b:e6
Node GUID on CA #3 (NIC) ............... 0c:42:a1:03:00:ad:4b:e7
------------------ DONE ---------------------

测试

驱动装完了，要验证一下rdma的功能是否正常

测试一下带宽，客户端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
[root@rdma-test2 twj]# ib_send_bw -a -c UD -d mlx5_bond_0 -i 1 10.94.48.59
 Max msg size in UD is MTU 1024
 Changing to this MTU
---------------------------------------------------------------------------------------
                    Send BW Test
 Dual-port       : OFF		Device         : mlx5_bond_0
 Number of qps   : 1		Transport type : IB
 Connection type : UD		Using SRQ      : OFF
 PCIe relax order: ON
 ibv_wr* API     : ON
 TX depth        : 128
 CQ Moderation   : 100
 Mtu             : 1024[B]
 Link type       : Ethernet
 GID index       : 3
 Max inline data : 0[B]
 rdma_cm QPs	 : OFF
 Data ex. method : Ethernet
---------------------------------------------------------------------------------------
 local address: LID 0000 QPN 0x5692 PSN 0x531dad
 GID: 00:00:00:00:00:00:00:00:00:00:255:255:10:94:48:60
 remote address: LID 0000 QPN 0x19c69 PSN 0xfd4b22
 GID: 00:00:00:00:00:00:00:00:00:00:255:255:10:94:48:59
---------------------------------------------------------------------------------------
 #bytes     #iterations    BW peak[MB/sec]    BW average[MB/sec]   MsgRate[Mpps]
 2          1000             11.89              11.17  		   5.855822
 4          1000             23.93              23.55  		   6.173855
 8          1000             46.60              45.59  		   5.974952
 16         1000             95.43              94.25  		   6.176824
 32         1000             190.29             188.89 		   6.189492
 64         1000             380.57             375.89 		   6.158660
 128        1000             761.15             748.63 		   6.132765
 256        1000             324.76             322.86 		   1.322442
 512        1000             2684.99            2580.51		   5.284890
 1024       1000             2849.53            2753.57		   2.819659
---------------------------------------------------------------------------------------

服务端

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
[root@rdma-test1 twj]# ib_send_bw -a -c UD -d mlx5_bond_0 -i 1

************************************
* Waiting for client to connect... *
************************************
......
 #bytes     #iterations    BW peak[MB/sec]    BW average[MB/sec]   MsgRate[Mpps]
 2          1000             0.00               12.15  		   6.368663
 4          1000             0.00               25.56  		   6.701650
 8          1000             0.00               51.27  		   6.720124
 16         1000             0.00               101.48 		   6.650548
 32         1000             0.00               197.56 		   6.473762
 64         1000             0.00               424.04 		   6.947520
 128        1000             0.00               792.14 		   6.489171
 256        1000             0.00               344.60 		   1.411472
 512        1000             0.00               2775.55		   5.684333
 1024       1000             0.00               2768.99		   2.835446
---------------------------------------------------------------------------------------

看起来挺正常的，25G跑满问题不大

一个大坑

在实际安装测试过程中，我们遇到了一个挺大的坑，那就是多个物理的ConnectX4网卡的网口不能做到同一个bond中，否则会有问题

1
RoCE LAG is a feature meant for mimicking Ethernet bonding for IB devices and is available for dual port cards only.

我们机器基本都是插了2物理卡，每张卡2个口也就是一共4个口，4个口绑一起不管怎么搞都有问题，折腾了一下午发现bond只能用同一个物理卡的口-.-

当bond同一个物理卡之后，会出现一个mlx5_bond_0

1
2
3
4
5
6
7
8
9
10
[root@rdma-test1 twj]# ibstatus
......
Infiniband device 'mlx5_bond_0' port 1 status:
	default gid:	 fe80:0000:0000:0000:bace:f6ff:fe5d:fc52
	base lid:	 0x0
	sm lid:		 0x0
	state:		 4: ACTIVE
	phys state:	 5: LinkUp
	rate:		 25 Gb/sec (1X EDR)
	link_layer:	 Ethernet

用这个口进行通信就行了

总结

系统方面，rdma准备就绪，除了遇到的那个多物理卡的坑之外，其他的倒是没有什么困难

随着集群规模的增大，传统的TCP/IP架构是会有一点问题，虽说单个pool的规模一般来说不建议搞太大，但是某些场景下我们是需要搞大的单pool的，比如冷存储场景，单个pool很大的话，EC的k+m可以调得很大从而能够提高存储利用率，降低成本，所以这种情况下上rdma是势在必行了

参考资料

RDMA over Converged Ethernet (RoCE)

RDMA技术简述

RDMA技术详解（一）：RDMA概述

赏

谢谢你请我吃糖果

支付宝
微信
  • 本文作者： 奋斗的松鼠
  • 本文链接： http://www.strugglesquirrel.com/2022/07/06/ceph-over-rdma-上/
  • 版权声明： 本博客所有文章除特别声明外，创作版权均为作者个人所有，未经允许禁止转载！

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

松鼠哥，存储研发专家
曾就职于深信服北京研发中心，负责存储相关产品的调研测试
在分布式存储领域深耕近十年，实战经验和理论经验功力深厚
累计管理及上线生产集群超过600个，机器超3万台，磁盘总数超过80万块，总容量达到EB级别。