原文链接:https://pve.proxmox.com/pve-docs/chapter-pveceph.html 最后更新:2026-02-25
Ceph是一个统一的、分布式存储系统,具有出色的可靠性、可扩展性和性能。Proxmox VE集成了Ceph,允许您通过Web界面部署和管理超融合存储集群。
Ceph是一个软件定义的存储解决方案,提供: * 对象存储 * 块存储 * 文件系统存储
* OSD - 对象存储守护进程 * MON - 监视器 * MGR - 管理器 * MDS - 元数据服务器(可选)
1. 转到节点 → Ceph 2. 点击“安装Ceph” 3. 选择版本 4. 确认安装
apt install ceph
使用Web界面: 1. Ceph → 创建Ceph集群 2. 添加监视器节点 3. 配置网络
ceph-deploy new node1 node2 node3
添加OSD:
ceph-deploy osd create --data /dev/sdb node1
* HDD - 机械硬盘 * SSD - 固态硬盘 * NVMe - NVMe设备
使用SSD作为缓存:
ceph-deploy osd create --data /dev/sda --bluestore --wal /dev/nvme0n1 node1
通过Web界面: 1. Ceph → 存储池 2. 点击“创建” 3. 命名和选择类型
* Replicated - 复制池 * Erasure Coded - 纠删码池
* 3副本(默认) * 2副本 * 自定义
rbd create pool/image --size 10G
在Proxmox中添加: 1. 存储 → 添加 → RBD 2. 输入池名称 3. 配置参数
1. 创建元数据服务器 2. 创建CephFS 3. 配置配额
mount -t ceph node1:6789:/ /mnt/cephfs -o name=admin,secret=AQDD...
* 多个监视器 * 自动故障转移 * Quorum机制
* 副本机制 * 自动恢复 * PG重平衡
查看状态:
ceph status ceph health
ceph -s ceph osd df ceph pool ls
Proxmox Web界面提供: * 集群状态 * OSD状态 * 存储使用 * 性能图表
* OSD故障 * 存储池不健康 * 性能下降 * 网络问题
# 检查健康状态 ceph health detail # 检查OSD ceph osd tree # 检查PG状态 ceph pg stat
* 替换故障OSD * 重新添加MON * 修复存储池
* SSD用于日志/WAL * 足够的内存 * 10GbE网络
* osd_op_queue * osd_memory_target * bluestore_cache_size
备份Ceph配置:
ceph-deploy config backup node1
ceph osd getmap -o osdmap ceph mon getmap -o monmap
1. 停止OSD 2. 升级软件包 3. 重启OSD 4. 验证状态 5. 继续下一个节点
* 避免同时升级所有节点 * 保持集群健康 * 做好回滚计划
1. 使用奇数个MON(3或5) 2. 合理的PG数量 3. 定期监控健康状态 4. 保持固件更新 5. 使用专用网络
Proxmox支持: * RBD - 块存储 * CephFS - 文件存储 * RGW - 对象存储(将来支持)
将Ceph RBD用于: * 虚拟机磁盘 * 容器存储 * 备份目标