CEPH 系统盘挂了，如何使用数据盘恢复

硬盘损坏是早晚的时CEHP数据盘坏了使用CEPH的基本都轻车熟路了如果系统盘坏了呢不知道的可能会采取整个系统盘全做的方式前提条件使用cephadm搭建集群如果换服务器请确保CEPH数据盘放到其它服务器上后还能看到LVM分区若看不到LVM分区请按下面步骤处理加入到VLM白名单vgimportdevices -a查看是否可被搜索到pvscan激活vgchange -ay到此LVM分区应该可以被看到如果IP/主机名变了请先设置ceph configsetglobal osd_crush_update_on_startfalse禁止自动更新视图不禁止osd会跑到新主机上触发迁移前面都可有可无最终情况是系统盘数据被清除ceph相关的数据也没了但ceph数据盘仍在目标将仍在的数据盘恢复到集群中避免出现大量回填/迁移情况方法重新生成对应的系统文件即可启蒙方法(看看就好)文件都在/var/lib/ceph/{fsid}/osd.x目录里面的东西大都差不多可以随便考一个出来注意那些时间不会更新的文件基本剩下的会自动刷出来文件虽然都一样但里面的osdid及对应的osduuid不一样sed-is/osdid/${osdid}/gunit.*sed-is/osduuid/${osduuid}/gunit.* systemctl start ceph-${fsid}osd.${osdid}.service systemctlenableceph-${fsid}osd.${osdid}.service自己会改的话 就能启动成功了看看就行通过cephadm重新部署(限制少)上面的文件也是基于一套模块生成出来的cephadm deploy--nameosd.x--config/etc/ceph/ceph.conf--fsid{fsid}--osd-fsid{osdfsid}必要参数说明osd.x要恢复的osd文件/etc/ceph/ceph.conf从其它服务器上拿就行了[keying也要如果不幸挂的是admin服务器见CEPH client.admin key获取]fsidceph -s 中的fasidosdfsid:通过ceph-volume lvm list osd.id 命令获取注意osd fsid这行旧版不支持指定osdid获取只能指定硬盘或全部获取那只有全部获取后再找出来即使系统盘没挂也可以用此方法将osd迁移到其它服务器上视图问题要注意只能在osd当前所在的主机上操作通过ceph orch重新部署ceph orch daemon redeploy osd.x[image]任意管理节点即可,osd实际位置要跟在ceph orch ps中的host一致非容器化部署操作这个更简单,确保ceph.conf配置好,通过ceph-volume获取对应的osd fsid,执行激活命令即可ceph-volume lvm activate x fsid#一次性全激活了ceph-volume lvm activate--all目录及内容全生产好了