Ceph集群的搭建与运维

Ceph的存储过程

文件->obj->pool->pg->osd->disk

• 文件被分片成对象

• 对象存放于特定的pool

• pool由多个pg组成

• pg对应多个osd

• osd直接对应disk

机器环境

• 4台centos7机器

• 默认最小集群是一个mon节点，两个osd节点

admin             10.37.129.10
ceph-node1        10.37.129.11
ceph-node2        10.37.129.12
ceph-node3        10.37.129.13

设置ssh免密码登陆

• 各节点修改/etc/hosts文件

admin             10.37.129.10
ceph-node1        10.37.129.11
ceph-node2        10.37.129.12
ceph-node3        10.37.129.13

• 在admin节点生成密钥对并派发

# 在admin节点

ssh-keygen -t rsa 

ssh-copy-id  root@ceph-node1
ssh-copy-id  root@ceph-node2
ssh-copy-id  root@ceph-node3

各节点环境配置

• 各节点关闭防火墙

sudo systemctl stop firewalld.service     #停止 firewall
sudo systemctl disable firewalld.service  #禁止 firewall 开机启动

• 各节点关闭selinux

vi /etc/selinux/config
SELINUX=disabled
reboot

• 各节点安装时间同步工具

yum install chrony -y 
systemctl restart  chronyd
systemctl enable  chronyd
chronyc source -v （查看时间是否同步，*表示同步完成）

• 各节点配置yum源

vi  /etc/yum.repo.d/ceph.repo

[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.163.com/ceph/rpm-kraken/el7/$basearch
enabled=1
priority=1
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-kraken/el7/noarch
enabled=1
priority=1
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-kraken/el7/SRPMS
enabled=0
priority=1
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

在admin节点部署

• 在admin节点安装部署工具

yum -y install ceph-deploy 

• 创建部署文件目录

mkdir -p /etc/ceph
cd /etc/ceph

• 创建一个集群（创建mon节点）

ceph-deploy new ceph-node1 ceph-node2  （也就是定义2各mon节点）

• 配置ceph.conf

vi ceph.conf
加入：
public network =10.37.129.0/24

• 开始部署

ceph-deploy install admin ceph-node1 ceph-node2  ceph-node3

• 初始化 mon节点 并收集所有的秘钥

ceph-deploy mon create-initial

• 创建osd

ceph-deploy osd  create ceph-node1:/dev/sdb   ceph-node2:/dev/sdb

• 使用ceph-deploy把配置文件和admin秘钥推送到管理节点和ceph节点

ceph-deploy admin admin ceph-node1 ceph-node2 ceph-node3

• 给每一个节点的keyring 增加 r 权限（各节点执行）

chmod +r /ect/ceph/ceph.client.admin.keyring 

• 检查集群状况

ceph health

新增一个osd节点和mon节点

• 在admin节点操作

1、新增一个osd ceph-node3 
ceph-deploy osd create ceph-node3:/dev/sdb

2、在ceph-node1增加一个元数据的角色 
ceph-deploy mds create ceph-node1 

3、增加一个新的mon在ceph-node3 上面
ceph-deploy mon add ceph-node3

误删osd恢复流程

• 记录osd状态：ceph osd tree

ID WEIGHT  TYPE NAME           UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.01469 root default                                          
-2 0.00490     host ceph-node1                                   
 0 0.00490         osd.0            up  1.00000          1.00000 
-3 0.00490     host ceph-node2                                   
 1 0.00490         osd.1            up  1.00000          1.00000 
-4 0.00490     host ceph-node3                                   
 2 0.00490         osd.2            up  1.00000          1.00000 

• 模拟删除osd.2

ceph osd out osd.2
systemctl stop ceph-osd@2 (osd id)
ceph osd crush remove osd.2
ceph auth del osd.2
ceph osd rm  osd.2

• 在删除的osd节点上进行恢复操作

进入到其挂载的目录 例如
cd /var/lib/ceph/osd/ceph-1

more fsid
ceph osd create  uuid
ceph auth add osd.2 osd 'allow *' mon 'allow rwx' -i /var/lib/ceph/osd/ceph-1/keyring
ceph osd crush add 2 osd.2(osd id） 0.0049 (权重） host=ceph-node3
ceph osd in osd.2
systemctl start  ceph-osd@2