在分布式存储领域，红帽 Ceph 存储（RHCS）凭借高可用、可扩展的特性，成为企业级存储方案的常用选择。但手动部署 Ceph 集群步骤繁琐且易出错，而Ansible 自动化部署能大幅简化流程，实现 “配置即代码” 的高效运维。本文基于实际操作场景，详细讲解红帽 Ceph 存储的 Ansible 部署全流程，包括环境准备、配置调试、集群验证及后续扩容，适合运维工程师和存储管理员参考。

一、部署前准备：搞定环境与密钥免密

在启动 Ansible 部署前，需先完成基础环境配置，核心是节点间 SSH 免密登录和Ansible 环境初始化，避免后续执行剧本时因权限或连通性问题中断。

1. 环境前提

节点规划：至少准备 1 台控制节点（如servera，安装 Ansible）和 3 台集群节点（如serverc/serverd/servere，部署 Ceph 的 mon/mgr/osd 等角色），操作系统建议为 RHEL 7/8（需兼容红帽 Ceph RHCS 3 版本）；
软件依赖：控制节点需安装ansible（推荐 2.9 + 版本），集群节点需提前配置红帽官方 yum 源（用于拉取 Ceph 组件）；
硬件要求：每个 OSD 节点至少挂载 1 块独立磁盘（如/dev/vdb，用于存储 Ceph 数据），内存≥4GB，CPU≥2 核。

2. 配置 SSH 免密登录

Ansible 通过 SSH 远程执行命令，需在控制节点（servera）生成 SSH 密钥，并复制到所有集群节点，实现免密登录：

bash
 
# 1. 在控制节点（servera）生成SSH密钥（一路回车，无需设置密码） ssh-keygen -t rsa # 2. 复制密钥到student用户的集群节点（如serverc/serverd/servere） for i in c d e; do ssh-copy-id student@server$i done # 3. 复制密钥到ceph用户的集群节点（Ceph服务默认用ceph用户运行） for i in c d e; do ssh-copy-id ceph@server$i done

执行后可通过ssh student@serverc测试，无需输入密码即表示配置成功。

二、核心部署流程：Ansible 配置三步走

红帽 Ceph 的 Ansible 部署核心是 “配置文件定义规则 + 剧本自动执行”，主要分为「Ansible 主配置调整」「清单文件定义角色」「变量文件设置参数」三步，最后执行剧本完成部署。

1. 第一步：修改 Ansible 主配置（ansible.cfg）

Ansible 的核心配置文件位于/usr/share/ceph-ansible/ansible.cfg，需调整参数避免警告和适配 Ceph 部署：

bash
 
# 编辑Ansible配置文件 sudo vim /usr/share/ceph-ansible/ansible.cfg # 关键配置项（添加或修改） deprecation_warnings=false # 关闭过时警告，避免干扰部署 remote_user=student # 远程执行默认用户（需拥有sudo权限） host_key_checking=false # 关闭主机密钥检查（避免首次连接弹窗）

此配置确保 Ansible 执行时不被冗余警告打断，且能顺利连接远程节点。

2. 第二步：编写清单文件（hosts）：定义 “角色 - 节点” 映射

清单文件（/etc/ansible/hosts）的作用是明确哪些 Ceph 角色部署在哪些节点上，是 Ansible 分配任务的核心依据。根据实际节点规划编写，示例如下：

ini
 
# 1. 监控节点（mon）：建议3个节点保证高可用 [mon] serverc
serverd
servere # 2. 管理节点（mgr）：与mon节点复用，简化部署 [mgrs] serverc
serverd
servere # 3. 存储节点（osd）：负责数据存储，需挂载独立磁盘 [osds] serverc
serverd
servere # 4. 客户端节点（clients）：用于测试集群访问 [clients] servera # 5. MDS节点（元数据服务）：若需Ceph FS，部署在servera [mdss] servera # 6. RGW节点（对象存储网关）：提供HTTP接口，部署在servera [rgws] servera

注意：角色与节点的映射需根据实际集群规模调整，小规模集群可复用节点（如 mon/mgr/osd 部署在同一批节点），大规模集群建议角色分离。

3. 第三步：准备配置文件：入口剧本与变量文件

Ansible 部署 Ceph 需两类关键文件：入口剧本（site.yml）定义调用哪些角色，变量文件（all.yml/osds.yml 等）定义部署参数（如网络、磁盘、版本）。

（1）配置入口剧本：site.yml

入口剧本是部署的 “总开关”，需从样本文件复制并调整关键参数：

bash
 
# 1. 复制样本文件为正式入口剧本 cd /usr/share/ceph-ansible/ cp site.yml.sample site.yml # 2. 编辑site.yml，调整核心参数 sudo vim site.yml

在site.yml中找到OSDS相关配置，补充或修改以下关键参数（确保与实际环境匹配）：

yaml
 
- name: Deploy Ceph OSDs hosts: osds serial: 1 # 串行部署OSD，避免同时操作导致磁盘冲突 roles: - role: ceph-osd vars: fetch_directory: ~/ceph-ansible-keys # 存放Ceph密钥的目录 ntp_service_enabled: false # 关闭NTP（若已有集群时间同步，可关闭） ceph_origin: repository # 从yum仓库安装Ceph ceph_repository: rhcs # 红帽Ceph官方仓库 ceph_rhcs_version: "3" # 红帽Ceph版本（需与系统兼容） ceph_repository_type: cdn # 从红帽CDN拉取仓库 rbd_cache: "true" # 启用RBD缓存，提升性能 rbd_cache_writethrough_until_flush: "false" # 优化缓存写入 monitor_interface: eth0 # mon/osd通信使用的网卡 journal_size: 1024 # OSD日志大小（单位MB，建议1024-4096） public_network: 172.25.250.0/24 # 客户端访问网络（需替换为实际网段） cluster_network: "{{ public_network }}" # 集群内部通信网络（小规模可与public复用） radosgw_civetweb_port: 80 # RGW服务端口（HTTP默认80） radosgw_interface: eth0 # RGW使用的网卡 # Ceph配置文件补充参数 ceph_conf_overrides: global: mon_osd_allow_primary_affinity: 1 # 允许OSD主亲和性调整 mon_clock_drift_allowed: 0.5 # 允许的时钟漂移（单位秒） osd_pool_default_size: 2 # 默认存储池副本数（建议2-3，需≤OSD节点数） osd_pool_default_min_size: 1 # 最小副本数（故障时降级可用） mon_pg_warn_min_per_osd: 0 # 关闭PG数量下限警告 mon_pg_warn_max_per_osd: 0 # 关闭PG数量上限警告 client: rbd_default_features: 1 # RBD默认特性（兼容旧客户端） client.rgw.servera: rgw_dns_name: servera # RGW节点的DNS名称

（2）配置变量文件：all.yml/osds.yml/mdss.yml/rgws.yml

变量文件用于细化各角色的配置，需从样本文件复制并修改关键参数：

bash
 
# 1. 全局变量文件（all.yml）：所有角色共用的参数 sudo vim all.yml # 若无需额外调整，可保持默认（继承site.yml参数） # 2. OSD变量文件（osds.yml）：定义OSD使用的磁盘 cp group_vars/osds.yml.sample group_vars/osds.yml sudo vim group_vars/osds.yml # 关键配置：指定OSD使用的磁盘（需替换为实际磁盘路径，如/dev/vdb） device:
  - /dev/vdb
osd_scenario: collocated # 数据与日志共存模式（小规模集群推荐） # 3. MDS变量文件（mdss.yml）：MDS服务配置（默认即可） cp group_vars/mdss.yml.sample group_vars/mdss.yml # 4. RGW变量文件（rgws.yml）：启用管理员密钥复制 cp group_vars/rgws.yml.sample group_vars/rgws.yml sudo vim group_vars/rgws.yml # 关键配置：复制管理员密钥到RGW节点，方便测试 copy_admin_key: true

4. 执行部署剧本：一键启动自动化部署

所有配置完成后，执行 Ansible 剧本，等待部署完成（耗时视节点数量而定，通常 10-30 分钟）：

bash
 
# 进入ceph-ansible目录，执行剧本 cd /usr/share/ceph-ansible/
ansible-playbook site.yml

部署过程检查：若出现 “failed” 任务，需先排查原因（如磁盘未格式化、yum 源不可用、SSH 权限不足），解决后重新执行剧本即可（Ansible 支持幂等性，重复执行不会导致冲突）。

三、部署后验证：确认集群状态正常

部署完成后，需通过一系列 Ceph 命令验证集群状态，确保各组件正常运行。所有命令可在控制节点（servera）或任意集群节点执行。

1. 集群整体状态查看

bash
 
ceph -s # 简洁查看集群状态（等同于ceph status） ceph health # 查看集群健康状态（返回HEALTH_OK即正常）

正常状态示例：health: HEALTH_OK，mon: 3 daemons up，osd: 3 osds up。

2. OSD 组件状态查看（存储核心）

bash
 
ceph osd status # 详细查看每个OSD的状态 ceph osd stat # 简洁查看OSD总数和状态 ceph osd tree # 查看OSD的树形拓扑（包含节点、权重） ceph osd dump # 导出OSD的详细配置

关键指标：up表示 OSD 服务正常，in表示 OSD 加入集群可用。

3. MON 组件状态查看（监控核心）

bash
 
ceph mon_status # 详细查看MON状态 ceph mon stat # 简洁查看MON数量和状态 ceph mon versions # 查看MON组件版本 ceph mon dump # 导出MON的配置（如成员、quorum状态）

关键指标：quorum列表包含所有正常的 MON 节点（如quorum 0,1,2 (serverc,serverd,servere)）。

4. 其他组件状态查看

MDS（元数据服务）：

bash
 
ceph mds stat # 查看MDS状态 ceph mds dump # 导出MDS配置

RGW（对象存储网关）：

bash
 
# 查看RGW服务状态（需指定节点，如servera） sudo systemctl status ceph-radosgw@rgw.servera.service

PG（Placement Group）：

bash
 
ceph pg dump # 导出PG的分布和状态（确保无PG处于error状态）

四、集群扩容：增加节点与磁盘

当业务数据增长时，需对 Ceph 集群进行扩容，主要分为 “增加 OSD 节点” 和 “增加单个节点磁盘” 两种场景，操作同样通过 Ansible 实现。

1. 场景 1：增加单个节点的磁盘数量

若现有 OSD 节点有额外磁盘（如serverc新增/dev/vdc//dev/vdd），需修改 OSD 变量文件并重新执行剧本：

bash
 
# 1. 修改变量文件，添加新磁盘 sudo vim /usr/share/ceph-ansible/group_vars/osds.yml # 修改device参数，增加新磁盘路径 device:
  - /dev/vdb
  - /dev/vdc
  - /dev/vdd # 2. 重新执行剧本，生效扩容 cd /usr/share/ceph-ansible/
ansible-playbook site.yml

2. 场景 2：增加 OSD 节点数量

若需新增 OSD 节点（如serverf/serverg），需先配置新节点的 SSH 免密登录，再修改清单文件和变量文件：

bash
 
# 1. 新节点SSH免密配置（控制节点执行） for i in f g; do ssh-copy-id student@server$i ssh-copy-id ceph@server$i done # 2. 修改清单文件，添加新节点到[osds]组 sudo vim /etc/ansible/hosts [osds] serverc
serverd
servere
serverf # 新增节点 serverg # 新增节点 # 3. （可选）若新节点磁盘不同，修改osds.yml的device参数 sudo vim /usr/share/ceph-ansible/group_vars/osds.yml # 4. 执行剧本，完成扩容 cd /usr/share/ceph-ansible/
ansible-playbook site.yml

3. 扩容后验证

扩容完成后，通过以下命令确认新 OSD 已加入集群：

bash
 
ceph osd tree # 查看是否包含新节点/新磁盘 ceph osd stat # 确认OSD总数增加 ceph health # 确认集群无健康告警

五、总结：Ansible 部署 Ceph 的关键要点

环境准备是基础：SSH 免密登录和 yum 源配置必须提前搞定，避免部署中因权限或依赖问题中断；
清单文件要精准：角色与节点的映射直接影响集群架构，小规模复用节点、大规模角色分离；
参数配置需匹配：public_network、device、osd_pool_default_size等参数需结合实际环境调整，尤其是副本数（需≤OSD 节点数）；
验证与扩容要及时：部署后通过ceph -s和组件命令确认状态，扩容后检查新资源是否正常加入。

通过 Ansible 自动化部署红帽 Ceph，不仅能减少手动操作的失误，还能实现集群配置的标准化管理。后续可基于此基础，进一步配置 Ceph FS 文件系统或 RGW 对象存储服务，满足企业不同的存储需求。

开设课程开班时间在线报名

OCP

2025.04.26

在线报名

HCIP-AI Solution

2025.04.26

在线报名

HCIE-openEuler

2025.05.03

在线报名

RHCA-CL260

2025.05.04

在线报名

HCIP-Cloud

2025.05.10

在线报名

PGCM直通车

2025.05.10

在线报名

HCIA-Datacom(晚班)

2025.05.19

在线报名

HCIA-Sec

2025.06.07

在线报名

RHCA-RH442

2025.06.07

在线报名

PMP

2025.06.10

在线报名

HCIA-Datacom

2025.06.14

在线报名

HCIE-AI Solution

2025.06.14

在线报名

HCIE-Datacom

2025.06.14

在线报名

HCIP-Datacom(晚班)

2025.06.16

在线报名

OCM

2025.06.21

在线报名

HCIE-Cloud

2025.06.21

在线报名

HCIP-Sec

2025.06.21

在线报名

HCIE-Bigdata

2025.06.28

在线报名

RHCE

2025.06.28

在线报名

HCIE-Datacom考前辅导

2025.07.05

在线报名

HCIP-Datacom深圳

2025.07.19

在线报名

CISP

2025.07.19

在线报名

HCIA-Datacom(晚班)

2025.07.21

在线报名

RHCA-RH436

2025.07.26

在线报名

OCP

2025.07.26

在线报名

HCIE-Sec

2025.08.09

在线报名

HCIA-AI Solution

2025.08.16

在线报名

HCIP-Datacom(晚班)

2025.08.25

在线报名

RHCA-RH358

2025.09.06

在线报名

PMP

2025.09.16

在线报名

HCIE-Datacom

2025.09.06

在线报名

HCIA-AI Solution

2025.09.27

在线报名

HCIA-Datacom

2025.09.27

在线报名

PGCM直通车

2025.10.11

在线报名

RHCA-DO374

2025.10.11

在线报名

HCIA-Sec

2025.10.11

在线报名

RHCE

2025.10.18

在线报名

HCIP-Datacom

2025.11.08

在线报名

HCIP-Sec

2025.11.08

在线报名

RHCA-CL260

2025.11.15

在线报名

OCP

2025.11.15

在线报名

HCIE-Sec

2025.12.13

在线报名

HCIE-Datacom

2026.01.10

在线报名

在线精品

红帽RHCA-DO280系列课：第4节 | 创建 Kubernetes 资源【精品视频】

986人在学

K8s安装部署

288人在学

RHCSA/RHCE 认证考试环境配置与核心考点精讲

340人在学

OSPF协议SPF算法 | 网络工程师进阶课程

254人在学

课程商城

华为HCIE认证考试-活动Redhat/Oracle持证福利

1课时

红帽RHCE认证培训课程

120课时

数据库Oracle OCP认证 OCP 19C OCP考试甲骨文Oracle认证

90课时

红帽中级认证（RHCE）培训+考试活动价

40课时

在线报名

报名已确认!

我们已收到您的信息
相关老师将尽快与您联系

友情链接

IT培训| 培训学校| 企业招聘| 大学生就业|