目录
第五章：部署超融合Ceph集群
原文链接：https://pve.proxmox.com/pve-docs/chapter-pveceph.html 最后更新：2026-02-25
概述
Ceph是一个统一的、分布式存储系统，具有出色的可靠性、可扩展性和性能。Proxmox VE集成了Ceph，允许您通过Web界面部署和管理超融合存储集群。
Ceph概念
什么是Ceph
Ceph是一个软件定义的存储解决方案，提供： * 对象存储 * 块存储 * 文件系统存储
Ceph组件
* OSD - 对象存储守护进程 * MON - 监视器 * MGR - 管理器 * MDS - 元数据服务器（可选）
安装Ceph
通过Web界面安装
1. 转到节点 → Ceph 2. 点击“安装Ceph” 3. 选择版本 4. 确认安装
通过命令行安装
apt install ceph
创建Ceph集群
创建Monitors
使用Web界面： 1. Ceph → 创建Ceph集群 2. 添加监视器节点 3. 配置网络
初始化集群
ceph-deploy new node1 node2 node3
配置OSD
创建OSD
添加OSD：
ceph-deploy osd create --data /dev/sdb node1
设备类型
* HDD - 机械硬盘 * SSD - 固态硬盘 * NVMe - NVMe设备
缓存层
使用SSD作为缓存：
ceph-deploy osd create --data /dev/sda --bluestore --wal /dev/nvme0n1 node1
存储池
创建存储池
通过Web界面： 1. Ceph → 存储池 2. 点击“创建” 3. 命名和选择类型
存储池类型
* Replicated - 复制池 * Erasure Coded - 纠删码池
副本数
* 3副本（默认） * 2副本 * 自定义
块设备（RBD）
创建RBD镜像
rbd create pool/image --size 10G
使用RBD作为存储
在Proxmox中添加： 1. 存储 → 添加 → RBD 2. 输入池名称 3. 配置参数
CephFS
创建CephFS
1. 创建元数据服务器 2. 创建CephFS 3. 配置配额
挂载CephFS
mount -t ceph node1:6789:/ /mnt/cephfs -o name=admin,secret=AQDD...
高可用
MON高可用
* 多个监视器 * 自动故障转移 * Quorum机制
OSD高可用
* 副本机制 * 自动恢复 * PG重平衡
监控
Ceph状态
查看状态：
ceph status ceph health
详细统计
ceph -s ceph osd df ceph pool ls
Web界面
Proxmox Web界面提供： * 集群状态 * OSD状态 * 存储使用 * 性能图表
故障排除
常见问题
* OSD故障 * 存储池不健康 * 性能下降 * 网络问题
诊断命令
# 检查健康状态 ceph health detail # 检查OSD ceph osd tree # 检查PG状态 ceph pg stat
恢复
* 替换故障OSD * 重新添加MON * 修复存储池
性能优化
硬件建议
* SSD用于日志/WAL * 足够的内存 * 10GbE网络
调优参数
* osd_op_queue * osd_memory_target * bluestore_cache_size
备份Ceph
配置备份
备份Ceph配置：
ceph-deploy config backup node1
导出地图
ceph osd getmap -o osdmap ceph mon getmap -o monmap
升级Ceph
升级流程
1. 停止OSD 2. 升级软件包 3. 重启OSD 4. 验证状态 5. 继续下一个节点
注意事项
* 避免同时升级所有节点 * 保持集群健康 * 做好回滚计划
最佳实践
1. 使用奇数个MON（3或5） 2. 合理的PG数量 3. 定期监控健康状态 4. 保持固件更新 5. 使用专用网络
与Proxmox集成
存储类型
Proxmox支持： * RBD - 块存储 * CephFS - 文件存储 * RGW - 对象存储（将来支持）
虚拟机存储
将Ceph RBD用于： * 虚拟机磁盘 * 容器存储 * 备份目标