喜迎
元旦
用cosbench测试ceph的RGW | 奋斗的松鼠 - Blog

用cosbench测试ceph的RGW

字数统计: 1.7k字   |   阅读时长≈ 8分

cosbench是intel开源的一个针对对象存储开发的测试工具

写在前面

松鼠哥的ceph专业课程上线啦！
面向新手同学，从0实战，全面入门ceph安装部署与运维，有需要的同学赶紧扫码订购吧：

集群搭建完成后必然要进行必要的功能测试和性能测试，以确保集群准备好迎接生产环境的使用

安装运行：

1、安装nc工具和java:

1
yum install nc java

2、下载并解压cosbench之后运行:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
wget https://github.com/intel-cloud/cosbench/releases/download/v0.4.2.c4/0.4.2.c4.zip
unzip 0.4.2.c4.zip
[xxx@test-c117 ~]$ cd 0.4.2.c4
[xxx@test-c117 ~]$ chmod +x *.sh
[xxx@test-c117 ~]$ unset http_proxy
[xxx@test-c117 ~]$ ./start-all.sh
Launching osgi framwork ...
Successfully launched osgi framework!
Booting cosbench driver ...
.
Starting    cosbench-log_0.4.2    [OK]
Starting    cosbench-tomcat_0.4.2    [OK]
Starting    cosbench-config_0.4.2    [OK]
Starting    cosbench-http_0.4.2    [OK]
Starting    cosbench-cdmi-util_0.4.2    [OK]
Starting    cosbench-core_0.4.2    [OK]
Starting    cosbench-core-web_0.4.2    [OK]
Starting    cosbench-api_0.4.2    [OK]
Starting    cosbench-mock_0.4.2    [OK]
Starting    cosbench-ampli_0.4.2    [OK]
Starting    cosbench-swift_0.4.2    [OK]
Starting    cosbench-keystone_0.4.2    [OK]
Starting    cosbench-httpauth_0.4.2    [OK]
Starting    cosbench-s3_0.4.2    [OK]
Starting    cosbench-librados_0.4.2    [OK]
Starting    cosbench-scality_0.4.2    [OK]
Starting    cosbench-cdmi-swift_0.4.2    [OK]
Starting    cosbench-cdmi-base_0.4.2    [OK]
Starting    cosbench-driver_0.4.2    [OK]
Starting    cosbench-driver-web_0.4.2    [OK]
Successfully started cosbench driver!
Listening on port 0.0.0.0/0.0.0.0:18089 ...
Persistence bundle starting...
Persistence bundle started.
----------------------------------------------
!!! Service will listen on web port: 18088 !!!
----------------------------------------------

======================================================

Launching osgi framwork ...
Successfully launched osgi framework!
Booting cosbench controller ...
Starting    cosbench-log_0.4.2    [OK]
.
Starting    cosbench-tomcat_0.4.2    [OK]
Starting    cosbench-config_0.4.2    [OK]
Starting    cosbench-core_0.4.2    [OK]
Starting    cosbench-core-web_0.4.2    [OK]
Starting    cosbench-controller_0.4.2    [OK]
Starting    cosbench-controller-web_0.4.2    [OK]
Successfully started cosbench controller!
Listening on port 0.0.0.0/0.0.0.0:19089 ...
Persistence bundle starting...
Persistence bundle started.
----------------------------------------------
!!! Service will listen on web port: 19088 !!!
----------------------------------------------

这样就将cosbench启动了
3、在浏览器打开

1
http://172.xxx.xxx.xxx:19088/controller/

注意，如果重启cosbench出现提示”Ncat: Connection refused”，则需要运行命令：

1
ncat 0.0.0.0 18088

然后ctrl + c 退出，再用sudo启动cosbench

使用：#

1. 配置文件

cosbench使用的配置文件如下格式：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<?xml version="1.0" encoding="UTF-8" ?>
<workload name="my-s3-ceph" description="my s3 benchmark for s3">
  <storage type="s3" config="accesskey=AAA;secretkey=XoH;endpoint=http://1.1.1.1:7480;path_style_access=true" />
  <workflow>
    <workstage name="init">
      <work type="init" workers="1" config="cprefix=cephs3cosbench;containers=r(1,2)" />
    </workstage>
    <workstage name="prepare">
      <work type="prepare" workers="1" config="cprefix=cephs3cosbench;containers=r(1,2);objects=r(1,10);sizes=c(64)KB" />
    </workstage>
    <workstage name="main">
      <work name="main" workers="200" runtime="300">
        <operation type="read" ratio="0" config="cprefix=cephs3cosbench;containers=u(1,2);objects=u(1,10)" />
        <operation type="write" ratio="100" config="cprefix=cephs3cosbench;containers=u(1,2);objects=u(11,20);sizes=c(100)KB" />
      </work>
    </workstage>
    <workstage name="cleanup">
      <work type="cleanup" workers="1" config="cprefix=cephs3cosbench;containers=r(1,2);objects=r(1,20)" />
    </workstage>
    <workstage name="dispose">
      <work type="dispose" workers="1" config="cprefix=cephs3cosbench;containers=r(1,2)" />
    </workstage>
  </workflow>
</workload>

从上往下对参数进行解释：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
workload name - 测试的时候显示的任务名称，可自行定义
description - 描述也是可自行定义
storage type - 类型就写s3
config - 对该类型的配置，要配置的就是accesskey、secretkey、endpoint和path_style_access，注意endpoint格式是host:port

workstage name - cosbench测试是分阶段按顺序执行，此处为init初始化阶段，主要是进行bucket的创建，workers表示执行该阶段的时候开启多少个工作线程，创建bucket通常不会计算为性能，所以单线程就可以；config处配置的是存储桶bucket的名称前缀，containers表示轮询数，上例中将会创建以cephs3cosbench为前缀，后缀分别为1和2的bucket

prepare阶段 - 配置为bucket写入的数据，除了要配置正确的bucket前缀，还要配置objects，表示一轮写入多少个对象，以及object的大小

main阶段 - 这里就是主要进行测试的阶段；runtime表示运行的时间；
operation type - 操作类型，可以是read、write、delete等，ratio表示该操作所占所有操作的比例，例如上例中仅测试写，因此read的比例为0，也可以直接删掉read操作；config中配置bucket的前缀后缀信息，值得注意的是write的sizes值适当修改

cleanup阶段 - 这个阶段是进行环境的清理，主要是删除bucket中的数据，保证测试后的数据不会保留在集群中

dispose阶段 - 这个阶段是删除bucket

2. 启动测试

配置完成后，就开始启动测试，有几种启动测试的方法
方法一：

1
2
3
[xxx@client-c121 ~]$ cd cosbench/0.4.2.c4/
[xxx@client-c121 0.4.2.c4]$ ./cli.sh submit ~/my_s3_ceph.conf
Accepted with ID: w24

方法二：
在页面上传workload文件，就是上述的配置文件：
上传workload
方法三：
重新执行之前运行过的workload:

3. 测试分析

测试完成后，点击进入任务的detail即可进行性能分析：
性能总览
上图中各个类别说明：
Op-type - 操作类型
Op-Count - 操作总数
Byte-Count - 操作产生的Byte
Avg-ResTime - 操作产生的平均时间，包括
Avg-ProceTime - 操作的平均时间，这个是主要的时延参考，它反映了平均每次请求的时延
Throughput - 吞吐量，主要反映了操作的并发程度，也是重要的参考
Bandwidth - 带宽，反映了操作过程中的平均带宽情况
Succ-Ratio - 操作的成功率
关于参数部分这里摘录资料：

1
2
3
4
5
6
7
8
9
Throughput (operations/sec): the number of operations completed in one second
Response Time (ms): the duration between the initiation of operation and its completion
Bandwidth (KB/s): total amount of data transferred in one second
Success Ratio (%): the ratio of operations that completed successfully

Formula: Avg-restime = avg-ProcTime + avg-XferTime.Here,
Avg-restime (Average Response Time): the average time for operations from initiation to completion.
Avg-ProcTime (Average Processing Time): the average time used on processing operations.
Avg-XferTime (Average Transfer Time): the average time used on data transfer, the parameter doesn’t disclose on UI as it could be derived from above two.

还可以通过图表的方式分析整个测试过程中各项指标的变化情况：
图表

4. 添加driver

通常，单个设备上的driver能够产生的压力比较有限，所以cosbench支持使用controller控制多个driver来共同产生足够的压力，对于每个client设备来说，都是在设备上起driver的方式来实现的，即在各个client上运行start-driver.sh起来，然后进行配置：
1、修改conf/controller.conf文件，加入driver信息，如下为两个driver的配置：

1
2
3
4
5
6
7
8
9
10
11
12
13
[controller]
drivers = 2
log_level = INFO
log_file = log/system.log
archive_dir = archive

[driver1]
name = driver1
url = http://127.0.0.1:18088/driver

[driver2]
name = driver2
url = http://192.168.1.100:18088/driver

可以根据需要进行添加；另外，单个设备上也可以添加多个driver，受限于单个设备的资源，实际测试中发现单个设备加多个driver效果并不明显

赏

谢谢你请我吃糖果

支付宝
微信
  • 本文作者： 奋斗的松鼠
  • 本文链接： http://www.strugglesquirrel.com/2018/03/15/用cosbench测试ceph的RGW/
  • 版权声明： 本博客所有文章除特别声明外，创作版权均为作者个人所有，未经允许禁止转载！

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

松鼠哥，存储研发专家
曾就职于深信服北京研发中心，负责存储相关产品的调研测试
在分布式存储领域深耕近十年，实战经验和理论经验功力深厚
累计管理及上线生产集群超过600个，机器超3万台，磁盘总数超过80万块，总容量达到EB级别。