Blog

这是在Kubernetes环境中管理PV备份的现代化方案。VolSync Operator可以调度Kopia工具,将Ceph RBD PVC的快照数据备份到任何S3兼容存储。这种方式与你的CloudNativePG、Prometheus等K8s工作负载集成度最高,可以通过声明式配置(如ReplicationSource)来定义备份策略,实现自动化。

1. 备份流程:数据如何从 PV 流向 RustFS

  1. 创建一致性快照:VolSync Operator 首先会针对目标 PVC 创建一个 VolumeSnapshot。对于你基于 Ceph RBD 的 PVC,这会利用 Ceph 的存储快照能力,获得一个时间点一致的数据副本,确保备份过程中数据不会因应用写入而损坏。
  2. 启动临时 Mover Pod:VolSync 会启动一个临时的 Job Pod,并将上一步创建的快照挂载到这个 Pod 中。这个 Pod 就是专门用来搬运数据的“数据移动器”。
  3. Kopia 读取并加密数据:在这个临时 Pod 里,Kopia 工具会读取挂载的快照数据。Kopia 是一种内容寻址的备份工具,它会对数据进行分块、压缩和加密,然后只上传那些尚未备份过的数据块(即增量备份),从而极大节省存储空间和网络带宽。
  4. 上传至 RustFS:最后,Kopia 将处理好的加密数据块通过 S3 协议上传到你在 RustFS 中配置的存储桶(Bucket)中。这个 S3 存储库就是所有备份数据的最终归属地。

2. 恢复流程:数据如何从 RustFS 回到 PV

当需要恢复数据时(例如 PVC 丢失或需要灾难恢复),流程则相反:

  1. 创建恢复目标:你创建一个 ReplicationDestination 资源,它会定义一个新的、空白的 PVC 作为恢复的目标。
  2. 启动 Mover Pod:VolSync 同样会启动一个临时 Pod,这次它同时挂载空的 PVC 和指向 RustFS 的 Kopia 存储库配置。
  3. Kopia 拉取并解密数据:Mover Pod 中的 Kopia 从 RustFS 的存储库中拉取对应的加密备份数据,在本地解密后写入到挂载的空白 PVC 中。
  4. 完成恢复:数据写入完成后,这个 PVC 就被成功“填充”了。你可以将其重新绑定给应用,或者按照灾难恢复流程,在另一个集群中恢复数据。

3. 部署Ceph RBD 快照能力

VolSync 默认使用快照(Snapshot)方式备份,以保证数据一致性, Ceph CSI 需要具备创建 VolumeSnapshot 的能力。

  1. 安装 Snapshot CRD 和 Controller
helm repo add piraeus-charts https://piraeus.io/helm-charts/
helm repo update

helm upgrade --install snapshot-controller \
  piraeus-charts/snapshot-controller \
  --version 5.4.0 \
  --namespace kube-system \
  --create-namespace \
  --set installCRDs=true \
  --set keepCRDs=true \
  --wait \
  --timeout 5m

验证 CRD 和 Controller

kubectl get crd volumesnapshotclasses.snapshot.storage.k8s.io
kubectl get crd volumesnapshots.snapshot.storage.k8s.io
kubectl get crd volumesnapshotcontents.snapshot.storage.k8s.io
kubectl -n kube-system get deploy snapshot-controller
kubectl -n kube-system get pods | grep snapshot-controller
  1. 创建 Ceph RBD 的 VolumeSnapshotClass
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshotClass
metadata:
  name: ceph-rbd-snapshot
driver: rbd.csi.ceph.com
deletionPolicy: Retain
parameters:
  clusterID: ceph                          # 与你 StorageClass 中的 clusterID 一致
  csi.storage.k8s.io/snapshotter-secret-name: csi-rbd-secret
  csi.storage.k8s.io/snapshotter-secret-namespace: ceph-csi
  1. 在 RustFS 中创建备份桶 创建一个专用桶: obsbot-kubernetes-resource 《RustFS+VolSync+Restic备份Ceph数据》文章正文配图 — STARBUCKET BLOG

  2. 创建 Kopia 仓库连接 Secret VolSync 的 Kopia mover 需要通过环境变量读取 RustFS 的连接信息和加密密码。这个 Secret 必须创建在你要备份的 PVC 所在的命名空间(例如监控所在的 monitoring,或数据库所在的 dev)

apiVersion: v1
kind: Secret
metadata:
  name: volsync-restic-rustfs-secret
  namespace: monitoring                  # 按实际 PVC 所在命名空间修改
type: Opaque
stringData:
  RESTIC_REPOSITORY: "s3:http://RustFS地址:9000/桶名/目录名"
  AWS_ACCESS_KEY_ID: "你的RustFSAccessKey"
  AWS_SECRET_ACCESS_KEY: "你的RustFSSecretKey"
  AWS_SECRET_ACCESS_KEY: "设置一个足够长且随机的加密密码"   # 丢失后无法恢复备份
  1. 安装 VolSync Operator
helm repo add volsync https://backube.github.io/helm-charts/
helm repo update

# 查看可用版本
helm search repo volsync/volsync --versions | head

# 固定版本安装
helm upgrade --install volsync volsync/volsync \
  --version 0.17.0 \
  --namespace volsync-system \
  --create-namespace \
  --wait \
  --timeout 10m

验证 Operator 和 CRD

kubectl get pods -n volsync-system
kubectl get crd replicationsources.volsync.backube
kubectl get crd replicationdestinations.volsync.backube
  1. 创建ReplicationSource(备份配置)PVC
apiVersion: volsync.backube/v1alpha1
kind: ReplicationSource
metadata:
  name: prometheus-restic-backup
  namespace: monitoring
spec:
  sourcePVC: prometheus-monitoring-prometheus-db-prometheus-monitoring-prometheus-0
  trigger:
    schedule: "30 10 * * *"     # 控制器按 UTC 运行时,对应北京时间每天 18:30
    manual: "initial-20261118"  # 首次创建立即触发一次
  restic:
    repository: volsync-restic-rustfs-secret
    copyMethod: Snapshot
    volumeSnapshotClassName: ceph-rbd-snapshot
    pruneIntervalDays: 14
    retain:
      daily: 7
      weekly: 4
      monthly: 6

JOB任务有打印截图日志说明备份成功! 《RustFS+VolSync+Restic备份Ceph数据》文章正文配图(配图 2)— STARBUCKET BLOG

查看RustFS是否有数据同步 《RustFS+VolSync+Restic备份Ceph数据》文章正文配图(配图 3)— STARBUCKET BLOG

Comments & discussion

The first comment in each thread opens a topic. Signed-in readers can keep the conversation going under that topic.

No comments yet. Sign in to start a topic.

Start a new topic

Sign in to start a topic or join the discussion.