Blog

CloudNativePG 是专为 PostgreSQL 设计的 Kubernetes Operator,原生管理主备选举、流复制、故障切换和备份,与 Ceph RBD 的 RWO(ReadWriteOnce)卷配合良好。Wikimedia 的生产环境也采用了 CloudNativePG + RBD 存储主数据的模式。

1. 安装 Operator

helm repo add cloudnative-pg https://cloudnative-pg.github.io/charts
helm repo update
helm install cnpg cloudnative-pg/cloudnative-pg -n cnpg-system --create-namespace

2. 配置ceph拓扑感知标签 + --domainlabels为所有 worker 节点打上拓扑标签

给worker 节点打标签(同一区域用相同值即可)

kubectl label node k8s-n1 topology.kubernetes.io/zone=zone-a
kubectl label node k8s-n2 topology.kubernetes.io/zone=zone-a
kubectl label node k8s-n3 topology.kubernetes.io/zone=zone-a

为 Nodeplugin 配置 --domainlabels

      containers:
        - args:
            - '--nodeid=$(NODE_ID)'
            - '--pluginpath=/var/lib/kubelet/plugins'
            - '--stagingpath=/var/lib/kubelet/plugins/kubernetes.io/csi/'
            - '--type=rbd'
            - '--nodeserver=true'
            - '--automaxprocs=true'
            - '--pidlimit=-1'
            - '--endpoint=$(CSI_ENDPOINT)'
            - '--csi-addons-endpoint=$(CSI_ADDONS_ENDPOINT)'
            - '--v=5'
            - '--drivername=$(DRIVER_NAME)'
            - '--enable-read-affinity=false'
            - '--logslowopinterval=30s'
            - "--domainlabels=topology.kubernetes.io/zone"  # 添加标签
          env:
            ...
          image: 'quay.io/cephcsi/cephcsi:v3.18.1'
          ...
          name: csi-rbdplugin      # ← 确认是这个容器

3. 创建 PostgreSQL集群

关键配置:instances: 3 实现一主两从;storageClass: ceph-rbd-retain 用于数据卷;将 WAL 日志分离到独立存储卷,防止 WAL 堆积撑爆主数据卷导致集群不可用。

apiVersion: postgresql.cnpg.io/v1
kind: Cluster
metadata:
  name: pg-ha
  namespace: default
spec:
  instances: 3
  postgresql:
    parameters:
      synchronous_commit: "on"      # 同步提交,保证数据强一致
      max_connections: "400"
  storage:
    size: 100Gi
    storageClass: ceph-rbd-retain
  walStorage:
    size: 20Gi
    storageClass: ceph-rbd-retain

kubectl apply -f pg-cluster.yaml

如何获取账号密码?

获取应用用户 (app) 的密码(推荐用于业务连接)

kubectl get secret postgres-app -n dev -o jsonpath='{.data.password}' | base64 -d
获取超级用户 (postgres) 的密码(用于管理)

kubectl get secret postgres-superuser -n dev -o jsonpath='{.data.password}' | base64 -d
获取所有连接信息(包括用户名、密码、主机、端口、数据库名)

kubectl get secret postgres-app -n dev -o go-template='{{range $k,$v := .data}}{{$k}}: {{$v | base64decode}}{{"\n"}}{{end}}'

4. 验证数据一致性说明

  1. 部署后 Operator 会自动创建 3 个 Pod(1 primary + 2 replicas),每个实例持有独立的 RBD PVC。即使某个 Pod 被重新调度到其他节点,RBD 镜像依然绑定原有数据,不会丢失。
  2. synchronous_commit: "on" 配合流复制,确保主库事务在至少一个同步备库确认后才向客户端返回成功,满足“数据保持一致”的核心要求。CloudNativePG 会自动管理同步备库的选举,无需手动干预

Comments & discussion

The first comment in each thread opens a topic. Signed-in readers can keep the conversation going under that topic.

No comments yet. Sign in to start a topic.

Start a new topic

Sign in to start a topic or join the discussion.