解决无法正常删除lvm的问题

2018-03-28

字数统计: 705字 | 阅读时长≈ 3分

生产环境遇到的问题，在测试环境复现并探究解决方法

写在前面

松鼠哥的ceph专业课程上线啦！
面向新手同学，从0实战，全面入门ceph安装部署与运维，有需要的同学赶紧扫码订购吧：

目前创建使用osd的推荐方式是lvm，好处很多。

测试开始

最近进行的一项ceph测试中，有个测试想是想看看正常运行的osd在磁盘被破坏后，集群的情况；为了模拟这种情况，松鼠哥使用dd命令将好好的一个osd磁盘写坏了！但是，坚强的osd在磁盘被dd写坏后没有第一时间就倒下，而是坚持了一会就挂了。那么问题来了，在这个磁盘上重建osd的时候出了问题，由于该磁盘此前建立osd的时候用的是lvm方式，而后被dd命令无情地破坏掉一些信息，所以，使用命令：

1	[cephfsd@ceph-c43 ~]$ ceph-deploy osd create --data /dev/sdj ceph-c43

创建osd失败～天呐，我的硬盘肿么了
猜测是lvm分区仍存在，或者是系统某些地方仍然保留着该磁盘的lvm信息，导致ceph-deploy进程要进行创建的时候被拒绝了
然而，通过下面的命令：

1
2
3

vgdisplay
pvdisplay
lvm pvdisplay

都看不到有关该磁盘的lvm信息，只有在lsblk 中看到这样的信息：

1 2	sdj 8:144 0 7.3T 0 disk ceph--bd9b8c7a--466b--40a6--9e73--4ce1246e0a67-osd--block--9dfeac8f--1d58--4845--8dc4--282caa134a96 253:7 0 7.3T 0 lvm

第一时间想到的是用dd把该清除的数据都清除掉！

1	dd if=/dev/urandom of=/dev/sdj bs=512 count=10240000

等了一会，dd完了，再次查看lsblk -l，还是依旧存那个lvm分区
继续查了下资料，说是使用dmsetup ls命令可以看到这种残留信息：

[root@ceph-c43 ~]# dmsetup ls
ceph--ecce7e63--33ae--441c--92f0--c2566dd32f34-osd--block--28dd3b87--894c--4430--9ac8--75592ea6ac11	(253:5)
ceph--a3e27485--83dc--4552--8501--099743c86ffc-osd--block--1867b26a--fe4b--4827--b9da--c19cd5d73d48	(253:6)
ceph--7401b417--3385--4b27--83cd--307582d30090-osd--block--17f95d8f--e769--4672--97b6--2a278cd32986	(253:11)
ceph--98073483--98f7--4fa0--ac97--eea5cd8fd64b-osd--block--e4873a56--beb2--4fef--8396--69c964e046c2	(253:8)
ceph--52a2a47b--22ec--4229--8639--cb2f1c5890a8-osd--block--26b2a6b1--441e--413c--9c72--69da75462739	(253:3)
ceph--b7e98745--c59b--48fa--b292--1c0f9077fbff-osd--block--12525a73--079f--4c68--a38c--e08dd94e8e18	(253:2)
ceph--e1608de1--6630--4626--ac9e--e4f2bbe5edfb-osd--block--aa9cf0b5--26fb--440e--8f09--840621e76e94	(253:4)
ceph--bd9b8c7a--466b--40a6--9e73--4ce1246e0a67-osd--block--9dfeac8f--1d58--4845--8dc4--282caa134a96	(253:7)
ceph--3096274a--ad2f--4f23--9898--d2634971bd61-osd--block--a72efbf4--c9b8--4bfb--81d5--e5f450890dc5	(253:1)
ceph--cc6f6e26--77c9--4147--bad5--e8f17146d07a-osd--block--631220ce--6002--4174--ba9e--863efc3efdcd	(253:9)
ceph--f27581a0--3ac5--42f6--8ac0--26497a5d4499-osd--block--d3d9484f--484a--4206--9150--69f0d8aac3e8	(253:10)
ceph--d46e69a7--fda9--4e81--a3b9--569f83f5b596-osd--block--0d4c763a--95ab--4833--a5e8--32f1c68870c3	(253:0)

就是你了！***，害我找了好久！马上用dmsetup remove掉：

1	dmsetup remove ceph--bd9b8c7a--466b--40a6--9e73--4ce1246e0a67-osd--block--9dfeac8f--1d58--4845--8dc4--282caa134a96

再次lsblk -l，已经没有了那个讨厌的lvm分区～

本文作者： 奋斗的松鼠
本文链接： http://www.strugglesquirrel.com/2018/03/28/解决无法正常删除lvm的问题/
版权声明： 本博客所有文章除特别声明外，创作版权均为作者个人所有，未经允许禁止转载！