CloudNativePG 是专为 PostgreSQL 设计的 Kubernetes Operator,原生管理主备选举、流复制、故障切换和备份,与 Ceph RBD 的 RWO(ReadWriteOnce)卷配合良好。Wikimedia 的生产环境也采用了 CloudNativePG + RBD 存储主数据的模式。
1. 安装 Operator
helm repo add cloudnative-pg https://cloudnative-pg.github.io/charts
helm repo update
helm install cnpg cloudnative-pg/cloudnative-pg -n cnpg-system --create-namespace
2. 配置ceph拓扑感知标签 + --domainlabels为所有 worker 节点打上拓扑标签
给worker 节点打标签(同一区域用相同值即可)
kubectl label node k8s-n1 topology.kubernetes.io/zone=zone-a
kubectl label node k8s-n2 topology.kubernetes.io/zone=zone-a
kubectl label node k8s-n3 topology.kubernetes.io/zone=zone-a
为 Nodeplugin 配置 --domainlabels
containers:
- args:
- '--nodeid=$(NODE_ID)'
- '--pluginpath=/var/lib/kubelet/plugins'
- '--stagingpath=/var/lib/kubelet/plugins/kubernetes.io/csi/'
- '--type=rbd'
- '--nodeserver=true'
- '--automaxprocs=true'
- '--pidlimit=-1'
- '--endpoint=$(CSI_ENDPOINT)'
- '--csi-addons-endpoint=$(CSI_ADDONS_ENDPOINT)'
- '--v=5'
- '--drivername=$(DRIVER_NAME)'
- '--enable-read-affinity=false'
- '--logslowopinterval=30s'
- "--domainlabels=topology.kubernetes.io/zone" # 添加标签
env:
...
image: 'quay.io/cephcsi/cephcsi:v3.18.1'
...
name: csi-rbdplugin # ← 确认是这个容器
3. 创建 PostgreSQL集群
关键配置:instances: 3 实现一主两从;storageClass: ceph-rbd-retain 用于数据卷;将 WAL 日志分离到独立存储卷,防止 WAL 堆积撑爆主数据卷导致集群不可用。
apiVersion: postgresql.cnpg.io/v1
kind: Cluster
metadata:
name: pg-ha
namespace: default
spec:
instances: 3
postgresql:
parameters:
synchronous_commit: "on" # 同步提交,保证数据强一致
max_connections: "400"
storage:
size: 100Gi
storageClass: ceph-rbd-retain
walStorage:
size: 20Gi
storageClass: ceph-rbd-retain
kubectl apply -f pg-cluster.yaml
如何获取账号密码?
获取应用用户 (app) 的密码(推荐用于业务连接)
kubectl get secret postgres-app -n dev -o jsonpath='{.data.password}' | base64 -d
获取超级用户 (postgres) 的密码(用于管理)
kubectl get secret postgres-superuser -n dev -o jsonpath='{.data.password}' | base64 -d
获取所有连接信息(包括用户名、密码、主机、端口、数据库名)
kubectl get secret postgres-app -n dev -o go-template='{{range $k,$v := .data}}{{$k}}: {{$v | base64decode}}{{"\n"}}{{end}}'
4. 验证数据一致性说明
- 部署后 Operator 会自动创建 3 个 Pod(1 primary + 2 replicas),每个实例持有独立的 RBD PVC。即使某个 Pod 被重新调度到其他节点,RBD 镜像依然绑定原有数据,不会丢失。
- synchronous_commit: "on" 配合流复制,确保主库事务在至少一个同步备库确认后才向客户端返回成功,满足“数据保持一致”的核心要求。CloudNativePG 会自动管理同步备库的选举,无需手动干预
Comments & discussion
The first comment in each thread opens a topic. Signed-in readers can keep the conversation going under that topic.
No comments yet. Sign in to start a topic.
Start a new topic
Sign in to start a topic or join the discussion.