====== 第五章：部署超融合Ceph集群 ======

原文链接：https://pve.proxmox.com/pve-docs/chapter-pveceph.html
最后更新：2026-02-25

===== 概述 =====

Ceph是一个统一的、分布式存储系统，具有出色的可靠性、可扩展性和性能。Proxmox VE集成了Ceph，允许您通过Web界面部署和管理超融合存储集群。

===== Ceph概念 =====

=== 什么是Ceph ===

Ceph是一个软件定义的存储解决方案，提供：
* 对象存储
* 块存储
* 文件系统存储

=== Ceph组件 ===

* OSD - 对象存储守护进程
* MON - 监视器
* MGR - 管理器
* MDS - 元数据服务器（可选）

===== 安装Ceph =====

=== 通过Web界面安装 ===

1. 转到节点 → Ceph
2. 点击"安装Ceph"
3. 选择版本
4. 确认安装

=== 通过命令行安装 ===

<code>
apt install ceph
</code>

===== 创建Ceph集群 =====

=== 创建Monitors ===

使用Web界面：
1. Ceph → 创建Ceph集群
2. 添加监视器节点
3. 配置网络

=== 初始化集群 ===

<code>
ceph-deploy new node1 node2 node3
</code>

===== 配置OSD =====

=== 创建OSD ===

添加OSD：
<code>
ceph-deploy osd create --data /dev/sdb node1
</code>

=== 设备类型 ===

* HDD - 机械硬盘
* SSD - 固态硬盘
* NVMe - NVMe设备

=== 缓存层 ===

使用SSD作为缓存：
<code>
ceph-deploy osd create --data /dev/sda --bluestore --wal /dev/nvme0n1 node1
</code>

===== 存储池 =====

=== 创建存储池 ===

通过Web界面：
1. Ceph → 存储池
2. 点击"创建"
3. 命名和选择类型

=== 存储池类型 ===

* Replicated - 复制池
* Erasure Coded - 纠删码池

=== 副本数 ===

* 3副本（默认）
* 2副本
* 自定义

===== 块设备（RBD） =====

=== 创建RBD镜像 ===

<code>
rbd create pool/image --size 10G
</code>

=== 使用RBD作为存储 ===

在Proxmox中添加：
1. 存储 → 添加 → RBD
2. 输入池名称
3. 配置参数

===== CephFS =====

=== 创建CephFS ===

1. 创建元数据服务器
2. 创建CephFS
3. 配置配额

=== 挂载CephFS ===

<code>
mount -t ceph node1:6789:/ /mnt/cephfs -o name=admin,secret=AQDD...
</code>

===== 高可用 =====

=== MON高可用 ===

* 多个监视器
* 自动故障转移
* Quorum机制

=== OSD高可用 ===

* 副本机制
* 自动恢复
* PG重平衡

===== 监控 =====

=== Ceph状态 ===

查看状态：
<code>
ceph status
ceph health
</code>

=== 详细统计 ===

<code>
ceph -s
ceph osd df
ceph pool ls
</code>

=== Web界面 ===

Proxmox Web界面提供：
* 集群状态
* OSD状态
* 存储使用
* 性能图表

===== 故障排除 =====

=== 常见问题 ===

* OSD故障
* 存储池不健康
* 性能下降
* 网络问题

=== 诊断命令 ===

<code>
# 检查健康状态
ceph health detail

# 检查OSD
ceph osd tree

# 检查PG状态
ceph pg stat
</code>

=== 恢复 ===

* 替换故障OSD
* 重新添加MON
* 修复存储池

===== 性能优化 ====

=== 硬件建议 ===

* SSD用于日志/WAL
* 足够的内存
* 10GbE网络

=== 调优参数 ===

* osd_op_queue
* osd_memory_target
* bluestore_cache_size

===== 备份Ceph =====

=== 配置备份 ===

备份Ceph配置：
<code>
ceph-deploy config backup node1
</code>

=== 导出地图 ===

<code>
ceph osd getmap -o osdmap
ceph mon getmap -o monmap
</code>

===== 升级Ceph =====

=== 升级流程 ===

1. 停止OSD
2. 升级软件包
3. 重启OSD
4. 验证状态
5. 继续下一个节点

=== 注意事项 ===

* 避免同时升级所有节点
* 保持集群健康
* 做好回滚计划

===== 最佳实践 =====

1. 使用奇数个MON（3或5）
2. 合理的PG数量
3. 定期监控健康状态
4. 保持固件更新
5. 使用专用网络

===== 与Proxmox集成 =====

=== 存储类型 ===

Proxmox支持：
* RBD - 块存储
* CephFS - 文件存储
* RGW - 对象存储（将来支持）

=== 虚拟机存储 ===

将Ceph RBD用于：
* 虚拟机磁盘
* 容器存储
* 备份目标