手动编译ceph

2019-01-03

字数统计: 3.8k字 | 阅读时长≈ 18分

下载源代码，手动编译ceph

写在前面

松鼠哥的ceph专业课程上线啦！
面向新手同学，从0实战，全面入门ceph安装部署与运维，有需要的同学赶紧扫码订购吧：

亲手编译一个开源项目实际上不会太难，对理解项目的知识会很有好处，借此机会把ceph的源代码基础知识学习一下，为后续剖析整个代码、修改代码做优化铺一下路

开始

下载代码

使用git下载指定版本的ceph代码

[tanweijie@cs-2-41 ~]$ git clone --branch v12.2.8 https://github.com/ceph/ceph.git
Cloning into 'ceph'...
remote: Enumerating objects: 4, done.
remote: Counting objects: 100% (4/4), done.
remote: Compressing objects: 100% (4/4), done.
remote: Total 703851 (delta 0), reused 0 (delta 0), pack-reused 703847
Receiving objects: 100% (703851/703851), 331.67 MiB | 112.00 KiB/s, done.
Resolving deltas: 100% (556553/556553), done.
Note: checking out 'ae699615bac534ea496ee965ac6192cb7e0e07c0'.

You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.

If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:

  git checkout -b new_branch_name

解决依赖

ceph这种大项目非常的规范，自带傻瓜式依赖解决脚本

1	[tanweijie@cs-2-41 ceph]$ ./install-deps.sh

这样就搞定了

开始编译

官方建议是，直接编译安装适用于开发和测试目的，出于生产使用目的的推荐将ceph编译成rpm包的方式，这种编译成rpm包的方式最大的好处是可以很灵活地决定自己环境中使用的ceph选项，在编译前可以做很多调整，并且编译完成之后可以方便地分发到不同的节点上，保证所有节点安装的包都是一样的

这里先介绍直接编译安装的方式

1	[tanweijie@cs-2-41 ceph]$ ./do_cmake.sh

do_cmake首先创建并初始化编译前的环境，创建编译所需的条件，这个过程比较长，官方也说默认情况下会创建一个debug环境，导致这个时间非常久，想要快点则可以指定参数，不让其创建debug环境

1	[tanweijie@cs-2-41 ceph]$ ARGS="-DCMAKE_BUILD_TYPE=RelWithDebInfo" ./do_cmake.sh

实测会快很多，与官方说的5x速度差不多，快了5倍左右

接下来是make，因为我的编译环境是cpu是48 core的，所以编译的时候可以加参数充分发挥cpu的能力

1 2	[tanweijie@cs-2-41 ceph]$ cd build/ [tanweijie@cs-2-41 build]$ make -j96

make -j96一出，所有处理器跑满，j参数表示开启多少个线程进行make，一般取cpu核数的2倍

zhijiemake

使用time命令统计的时间开销为

[tanweijie@cs-2-41 build]$ time make -j96
......
Linking CXX executable ../../bin/ceph_test_librgw_file_nfsns
[100%] Built target ceph_test_librgw_file_nfsns
Linking CXX executable ../../bin/radosgw
[100%] Built target radosgw
Linking CXX executable ../bin/ceph-dencoder
[100%] Built target ceph-dencoder

real     11m11.208s
user     369m57.808s
sys      29m20.658s

时间还可以，大约11分钟就执行完了

编译打包为rpm

对于编译成rpm包的方式，因为本人也是小白，所以从头开始学习，首先是安装制作rpm包的工具

1	[tanweijie@cs-2-41 build]$ sudo yum install rpm-build rpmdevtools

然后使用rpmbuild工具创建编译目录，创建后会看到为编译准备的目录

[tanweijie@cs-2-41 ~]$ rpmdev-setuptree
[tanweijie@cs-2-41 ~]$ cd rpmbuild/
[tanweijie@cs-2-41 rpmbuild]$ ll
total 20
drwxrwxr-x 2 tanweijie tanweijie 4096 Jan  3 16:14 BUILD
drwxrwxr-x 2 tanweijie tanweijie 4096 Jan  3 16:14 RPMS
drwxrwxr-x 2 tanweijie tanweijie 4096 Jan  3 16:14 SOURCES
drwxrwxr-x 2 tanweijie tanweijie 4096 Jan  3 16:14 SPECS
drwxrwxr-x 2 tanweijie tanweijie 4096 Jan  3 16:14 SRPMS

接下来，获取到ceph的源代码包，rpmbuild制作rpm包需要tar.gz或者bz2之类的压缩形式的源代码包，也可以将上面git拉下来的代码打包成tar.gz或者z2格式，这里直接将tar.gz包下载下来放在目录的SOURCES子目录下

1	[tanweijie@cs-2-41 ~]$ wget -P ~/rpmbuild/SOURCES/ https://download.ceph.com/tarballs/ceph-12.2.8.tar.gz

然后，取出源代码包内的spec文件，这个文件指导rpmbuild进行源代码/文件的编译连接和组装

1	[tanweijie@cs-2-41 ~]$ tar --strip-components=1 -C ~/rpmbuild/SPECS/ --no-anchored -zxvf ~/rpmbuild/SOURCES/ceph-12.2.8.tar.gz "ceph.spec"

此时，在/home/tanweijie/rpmbuild/SPECS下有取出来的ceph.spec文件，可以进行编译了

[tanweijie@cs-2-41 ~]$ rpmbuild -ba ~/rpmbuild/SPECS/ceph.spec
......
Wrote: /home/tanweijie/rpmbuild/RPMS/x86_64/rados-objclass-devel-12.2.8-0.el7.centos.x86_64.rpm
Wrote: /home/tanweijie/rpmbuild/RPMS/x86_64/ceph-selinux-12.2.8-0.el7.centos.x86_64.rpm
Wrote: /home/tanweijie/rpmbuild/RPMS/x86_64/python-ceph-compat-12.2.8-0.el7.centos.x86_64.rpm
Wrote: /home/tanweijie/rpmbuild/RPMS/x86_64/ceph-debuginfo-12.2.8-0.el7.centos.x86_64.rpm
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.hvkSty
+ umask 022
+ cd /home/tanweijie/rpmbuild/BUILD
+ cd ceph-12.2.8
+ rm -rf /home/tanweijie/rpmbuild/BUILDROOT/ceph-12.2.8-0.el7.centos.x86_64
+ exit 0

这样就编译完成了，在~/rpmbuild/RPMS/x86_64下可以看到全部编译得到的包

[tanweijie@cs-2-41 x86_64]$ ll
total 1645148
-rw-rw-r-- 1 tanweijie tanweijie       1960 Jan  3 22:12 ceph-12.2.8-0.el7.centos.x86_64.rpm
-rw-rw-r-- 1 tanweijie tanweijie    4119228 Jan  3 22:12 ceph-base-12.2.8-0.el7.centos.x86_64.rpm
-rw-rw-r-- 1 tanweijie tanweijie   15838292 Jan  3 22:12 ceph-common-12.2.8-0.el7.centos.x86_64.rpm
-rw-rw-r-- 1 tanweijie tanweijie 1586048920 Jan  3 22:21 ceph-debuginfo-12.2.8-0.el7.centos.x86_64.rpm
-rw-rw-r-- 1 tanweijie tanweijie      23388 Jan  3 22:13 cephfs-java-12.2.8-0.el7.centos.x86_64.rpm
-rw-rw-r-- 1 tanweijie tanweijie    2576468 Jan  3 22:12 ceph-fuse-12.2.8-0.el7.centos.x86_64.rpm
-rw-rw-r-- 1 tanweijie tanweijie    3767784 Jan  3 22:12 ceph-mds-12.2.8-0.el7.centos.x86_64.rpm
-rw-rw-r-- 1 tanweijie tanweijie    3775528 Jan  3 22:12 ceph-mgr-12.2.8-0.el7.centos.x86_64.rpm
-rw-rw-r-- 1 tanweijie tanweijie    5273284 Jan  3 22:12 ceph-mon-12.2.8-0.el7.centos.x86_64.rpm
-rw-rw-r-- 1 tanweijie tanweijie   13258688 Jan  3 22:13 ceph-osd-12.2.8-0.el7.centos.x86_64.rpm
......
-rw-rw-r-- 1 tanweijie tanweijie    1599900 Jan  3 22:12 rbd-mirror-12.2.8-0.el7.centos.x86_64.rpm
-rw-rw-r-- 1 tanweijie tanweijie      81688 Jan  3 22:12 rbd-nbd-12.2.8-0.el7.centos.x86_64.rpm

学习spec

从上面的编译过程发现，spec文件是打包编译成rpm的核心文件，下面跟着ceph.spec简单学习这个文件的使用和优化方法，这种spec文件打包很通用，不仅适用于ceph

首先映入眼帘的是下面的内容

%bcond_without ocf
%bcond_without cephfs_java
%if 0%{?suse_version}
%bcond_with ceph_test_package
%else
%bcond_without ceph_test_package
%endif
%bcond_with make_check
%ifarch s390 s390x
%bcond_with tcmalloc
%else
%bcond_without tcmalloc
%endif
%bcond_with lowmem_builder
%if 0%{?fedora} || 0%{?rhel}
%bcond_without selinux
%endif
%if 0%{?suse_version}
%bcond_with selinux
%endif

# LTTng-UST enabled on Fedora, RHEL 6+, and SLE (not openSUSE)
%if 0%{?fedora} || 0%{?rhel} >= 6 || 0%{?suse_version}
%if ! 0%{?is_opensuse}
%bcond_without lttng
%endif
%endif

%if %{with selinux}
# get selinux policy version
%{!?_selinux_policy_version: %global _selinux_policy_version %(sed -e 's,.*selinux-policy-\\([^/]*\\)/.*,\\1,' /usr/share/selinux/devel/policyhelp 2>/dev/null || echo 0.0.0)}
%endif

%{!?_udevrulesdir: %global _udevrulesdir /lib/udev/rules.d}
%{!?tmpfiles_create: %global tmpfiles_create systemd-tmpfiles --create}
%{!?python3_pkgversion: %global python3_pkgversion 3}

# unify libexec for all targets
%global _libexecdir %{_exec_prefix}/lib

# disable dwz which compresses the debuginfo
%global _find_debuginfo_dwz_opts %{nil}

这些bcond_with是一些条件依赖，它主要是检查环境的配置，从而可以根据不同的环境配置来选择不同的编译选项，例如selinux，以及一些第三方的包，例如tcmalloc，在检查完这些依赖后，后续会对这部分配置进行进一步的使用，条件依赖有非常多的好处，它可以根据环境设定来调整运行时的配置，避免硬编码带来的不便，这里不做深究，openSUSE:RPM conditional builds这篇文章说得特别好

接下来是main package definition部分

Name:           ceph
Version:        12.2.8
Release:        0%{?dist}
%if 0%{?fedora} || 0%{?rhel}
Epoch:          2
%endif

# define _epoch_prefix macro which will expand to the empty string if epoch is
# undefined
%global _epoch_prefix %{?epoch:%{epoch}:}

Summary:        User space components of the Ceph file system
License:        LGPL-2.1 and CC-BY-SA-3.0 and GPL-2.0 and BSL-1.0 and BSD-3-Clause and MIT
%if 0%{?suse_version}
Group:          System/Filesystems
%endif
URL:            http://ceph.com/
Source0:        http://ceph.com/download/ceph-12.2.8.tar.bz2
%if 0%{?suse_version}
%if 0%{?is_opensuse}
ExclusiveArch:  x86_64 aarch64 ppc64 ppc64le
%else
ExclusiveArch:  x86_64 aarch64 ppc64le s390x
%endif
%endif

这部分主要是一些信息的定义，版本号啊许可啊，这些信息就是我们使用rpm -qpi xxx.rpm查询到的信息

接下来是dependencies that apply across all distro families部分

Requires:       ceph-osd = %{_epoch_prefix}%{version}-%{release}
Requires:       ceph-mds = %{_epoch_prefix}%{version}-%{release}
Requires:       ceph-mgr = %{_epoch_prefix}%{version}-%{release}
Requires:       ceph-mon = %{_epoch_prefix}%{version}-%{release}
Requires(post): binutils
%if 0%{with cephfs_java}
BuildRequires:  java-devel
BuildRequires:  sharutils
%endif
%if 0%{with selinux}
BuildRequires:  checkpolicy
BuildRequires:  selinux-policy-devel
BuildRequires:  /usr/share/selinux/devel/policyhelp
%endif
......
BuildRequires:  bc
BuildRequires:  gperf
BuildRequires:  cmake
BuildRequires:  cryptsetup
BuildRequires:  fuse-devel
BuildRequires:  gcc-c++
BuildRequires:  gdbm
%if 0%{with tcmalloc}
BuildRequires:  gperftools-devel >= 2.4
%endif
......

这部分主要是一些编译环境的依赖，指出了制作过程中用到的软件包，其中对应最开头的条件依赖，可以发现对这些依赖都会做特殊判断处理，例如selinux，另外，编译时对其他的第三方依赖，有特殊情况的则会提出版本要求等，这里编译所需要的包都在install-deps.sh中进行了指定安装，只要运行了那个脚本，这些包自动会满足，继续往下看

1
2
3

%description
Ceph is a massively scalable, open-source, distributed storage system that runs
on commodity hardware and delivers object, block and file system storage.

描述信息，想改可以改

接下来是subpackages部分

%package base
Summary:       Ceph Base Package
%if 0%{?suse_version}
Group:         System/Filesystems
%endif
Requires:      ceph-common = %{_epoch_prefix}%{version}-%{release}
Requires:      librbd1 = %{_epoch_prefix}%{version}-%{release}
Requires:      librados2 = %{_epoch_prefix}%{version}-%{release}
Requires:      libcephfs2 = %{_epoch_prefix}%{version}-%{release}
Requires:      librgw2 = %{_epoch_prefix}%{version}-%{release}
%if 0%{with selinux}
Requires:      ceph-selinux = %{_epoch_prefix}%{version}-%{release}
%endif
Requires:      python
Requires:      python-requests
Requires:      python-setuptools
Requires:      grep
Requires:      xfsprogs
Requires:      logrotate
Requires:      util-linux
Requires:      cryptsetup
Requires:      findutils
Requires:      psmisc
Requires:      which
%if 0%{?suse_version}
Recommends:    ntp-daemon
%endif
%description base
Base is the package that includes all the files shared amongst ceph servers
......

这部分开始描述一部分附属依赖包及其描述信息，这些包为主包提供依赖，最开始的几个Requires表示要打出来的包，后面的则表示安装时所需要的包

对于ceph编译打包，我们可以修改或者优化的地方还是比较少的，ceph源代码中用到的第三方包和依赖我们没有太多手段进行更改

接下来是common部分

%prep
%autosetup -p1 -n ceph-12.2.8

%build
%if 0%{with cephfs_java}
# Find jni.h
for i in /usr/{lib64,lib}/jvm/java/include{,/linux}; do
    [ -d $i ] && java_inc="$java_inc -I$i"
done
%endif

%if %{with lowmem_builder}
RPM_OPT_FLAGS="$RPM_OPT_FLAGS --param ggc-min-expand=20 --param ggc-min-heapsize=32768"
%endif
export RPM_OPT_FLAGS=`echo $RPM_OPT_FLAGS | sed -e 's/i386/i486/'`

export CPPFLAGS="$java_inc"
export CFLAGS="$RPM_OPT_FLAGS"
export CXXFLAGS="$RPM_OPT_FLAGS"

env | sort

%if %{with lowmem_builder}
%if 0%{?jobs} > 8
%define _smp_mflags -j8
%endif
%endif

# unlimit _smp_mflags in system macro if not set above
%define _smp_ncpus_max 0
# extract the number of processors for use with cmake
%define _smp_ncpus %(echo %{_smp_mflags} | sed 's/-j//')

这部分进入准备阶段，设定基本信息，导入环境变量，关于lowmem_builder，从名字上看就知道表示编译机器是否为低内存设备，如果是，则会降低编译的内存使用和并行任务数，在众多的资料中，也只发现有这样的解释：limit _smp_mflags when lowmem_builder is set in SUSE’s OBS，看起来大概率跟SUSE有关

另外还有一个参数，_smp_mflags，这里定义了一个变量，在lowmem_builder且任务数大于8的情况下，使用j为8，这里的-j8就是make命令的j参数，它对编译速度影响非常大，事实上在~/.rpmmacros文件中也有关于_smp_mflags参数的检测，从实际编译效果来看，此文件的配置优先级比较低，即如果满足上面两个if条件，就会降低编译速度

这里可以直接优化，在设备条件允许的情况下，将上述两个if注释掉，直接修改定义为%define _smp_mflags -j96，则可以极大加快编译速度(此环境中cpu有48个核)，可以直接跑满所有处理器
rpmbuild

往下，继续看看

mkdir build
cd build
cmake .. \
    -DCMAKE_INSTALL_PREFIX=%{_prefix} \
    -DCMAKE_INSTALL_LIBDIR=%{_libdir} \
    -DCMAKE_INSTALL_LIBEXECDIR=%{_libexecdir} \
    -DCMAKE_INSTALL_LOCALSTATEDIR=%{_localstatedir} \
    -DCMAKE_INSTALL_SYSCONFDIR=%{_sysconfdir} \
    -DCMAKE_INSTALL_MANDIR=%{_mandir} \
    -DCMAKE_INSTALL_DOCDIR=%{_docdir}/ceph \
    -DCMAKE_INSTALL_INCLUDEDIR=%{_includedir} \
    -DWITH_MANPAGE=ON \
    -DWITH_PYTHON3=ON \
    -DWITH_SYSTEMD=ON \
%if 0%{?rhel} && ! 0%{?centos}
    -DWITH_SUBMAN=ON \
%endif
%if 0%{without ceph_test_package}
    -DWITH_TESTS=OFF \
%endif
%if 0%{with cephfs_java}
    -DWITH_CEPHFS_JAVA=ON \
%endif
%if 0%{with selinux}
    -DWITH_SELINUX=ON \
%endif
.......
make %{?_smp_mflags}

创建了build目录并进入操作，执行了带很多参数的cmake，并根据条件依赖开启/关闭对应配置，这里还有make命令的执行，可以看到j参数就是在这里被使用了，继续往下

%install
pushd build
make DESTDIR=%{buildroot} install
# we have dropped sysvinit bits
rm -f %{buildroot}/%{_sysconfdir}/init.d/ceph
popd
install -m 0644 -D src/etc-rbdmap %{buildroot}%{_sysconfdir}/ceph/rbdmap
%if 0%{?fedora} || 0%{?rhel}
install -m 0644 -D etc/sysconfig/ceph %{buildroot}%{_sysconfdir}/sysconfig/ceph
%endif
%if 0%{?suse_version}
install -m 0644 -D etc/sysconfig/ceph %{buildroot}%{_localstatedir}/adm/fillup-templates/sysconfig.%{name}
%endif
install -m 0644 -D systemd/ceph.tmpfiles.d %{buildroot}%{_tmpfilesdir}/ceph-common.conf
install -m 0755 -D systemd/ceph %{buildroot}%{_sbindir}/rcceph
install -m 0644 -D systemd/50-ceph.preset %{buildroot}%{_libexecdir}/systemd/system-preset/50-ceph.preset
mkdir -p %{buildroot}%{_sbindir}
install -m 0644 -D src/logrotate.conf %{buildroot}%{_sysconfdir}/logrotate.d/ceph
chmod 0644 %{buildroot}%{_docdir}/ceph/sample.ceph.conf
install -m 0644 -D COPYING %{buildroot}%{_docdir}/ceph/COPYING
install -m 0644 -D etc/sysctl/90-ceph-osd.conf %{buildroot}%{_sysctldir}/90-ceph-osd.conf
......
%clean
rm -rf %{buildroot}

这部分关于rpm包安装的配置，这里进行的配置将在安装这个rpm的时候执行，其中buildroot这个字段很重要，它将作为make install时候安装的根路径，它决定了rpm安装时候file的具体位置

下面是files and systemd scriptlets部分

%files

%files base
%{_bindir}/crushtool
%{_bindir}/monmaptool
%{_bindir}/osdmaptool
%{_bindir}/ceph-kvstore-tool
%{_bindir}/ceph-run
%{_bindir}/ceph-detect-init
%{_libexecdir}/systemd/system-preset/50-ceph.preset
%{_sbindir}/ceph-create-keys
%{_sbindir}/ceph-disk
%{_sbindir}/rcceph
......
%files -n python-ceph-compat
# We need an empty %%files list for python-ceph-compat, to tell rpmbuild to
# actually build this meta package.

这个部分的篇幅非常大，此部分列出了需要被打包的文件和目录，此前所有的文件都被安装到以buildroot为基准的虚拟目录中，这里将从指定的虚拟路径提取所需要的文件进行打包

遇到的问题

python问题导致编译失败

请注意，编译ceph需要python 2.x，如果环境中默认python版本不是此版本的话，会编译失败

打包rpm包失败

将ceph 12.2.8源码打包成rpm的时候发现如下错误：

1	rpmbuild/SOURCES/ceph-12.2.8.tar.bz2: No such file or directory

原因是spec文件中写定的压缩包名称为ceph-12.2.8.tar.bz2，可参见spec第80行Source字段

1
2
3

...
Source0:        http://ceph.com/download/ceph-12.2.8.tar.bz2
...

而对应站点上，ceph已经不再打包成bz2格式了，下载下来的源代码包文件名称为ceph-12.2.8.tar.gz，所以修改spec文件中的名称为ceph-12.2.8.tar.gz即可

参考资料

本文作者： 奋斗的松鼠
本文链接： http://www.strugglesquirrel.com/2019/01/03/手动编译ceph/
版权声明： 本博客所有文章除特别声明外，创作版权均为作者个人所有，未经允许禁止转载！