这是在Kubernetes环境中管理PV备份的现代化方案。VolSync Operator可以调度Kopia工具,将Ceph RBD PVC的快照数据备份到任何S3兼容存储。这种方式与你的CloudNativePG、Prometheus等K8s工作负载集成度最高,可以通过声明式配置(如ReplicationSource)来定义备份策略,实现自动化。
1. 备份流程:数据如何从 PV 流向 RustFS
- 创建一致性快照:VolSync Operator 首先会针对目标 PVC 创建一个 VolumeSnapshot。对于你基于 Ceph RBD 的 PVC,这会利用 Ceph 的存储快照能力,获得一个时间点一致的数据副本,确保备份过程中数据不会因应用写入而损坏。
- 启动临时 Mover Pod:VolSync 会启动一个临时的 Job Pod,并将上一步创建的快照挂载到这个 Pod 中。这个 Pod 就是专门用来搬运数据的“数据移动器”。
- Kopia 读取并加密数据:在这个临时 Pod 里,Kopia 工具会读取挂载的快照数据。Kopia 是一种内容寻址的备份工具,它会对数据进行分块、压缩和加密,然后只上传那些尚未备份过的数据块(即增量备份),从而极大节省存储空间和网络带宽。
- 上传至 RustFS:最后,Kopia 将处理好的加密数据块通过 S3 协议上传到你在 RustFS 中配置的存储桶(Bucket)中。这个 S3 存储库就是所有备份数据的最终归属地。
2. 恢复流程:数据如何从 RustFS 回到 PV
当需要恢复数据时(例如 PVC 丢失或需要灾难恢复),流程则相反:
- 创建恢复目标:你创建一个 ReplicationDestination 资源,它会定义一个新的、空白的 PVC 作为恢复的目标。
- 启动 Mover Pod:VolSync 同样会启动一个临时 Pod,这次它同时挂载空的 PVC 和指向 RustFS 的 Kopia 存储库配置。
- Kopia 拉取并解密数据:Mover Pod 中的 Kopia 从 RustFS 的存储库中拉取对应的加密备份数据,在本地解密后写入到挂载的空白 PVC 中。
- 完成恢复:数据写入完成后,这个 PVC 就被成功“填充”了。你可以将其重新绑定给应用,或者按照灾难恢复流程,在另一个集群中恢复数据。
3. 部署Ceph RBD 快照能力
VolSync 默认使用快照(Snapshot)方式备份,以保证数据一致性, Ceph CSI 需要具备创建 VolumeSnapshot 的能力。
- 安装 Snapshot CRD 和 Controller
helm repo add piraeus-charts https://piraeus.io/helm-charts/
helm repo update
helm upgrade --install snapshot-controller \
piraeus-charts/snapshot-controller \
--version 5.4.0 \
--namespace kube-system \
--create-namespace \
--set installCRDs=true \
--set keepCRDs=true \
--wait \
--timeout 5m
验证 CRD 和 Controller
kubectl get crd volumesnapshotclasses.snapshot.storage.k8s.io
kubectl get crd volumesnapshots.snapshot.storage.k8s.io
kubectl get crd volumesnapshotcontents.snapshot.storage.k8s.io
kubectl -n kube-system get deploy snapshot-controller
kubectl -n kube-system get pods | grep snapshot-controller
- 创建 Ceph RBD 的 VolumeSnapshotClass
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshotClass
metadata:
name: ceph-rbd-snapshot
driver: rbd.csi.ceph.com
deletionPolicy: Retain
parameters:
clusterID: ceph # 与你 StorageClass 中的 clusterID 一致
csi.storage.k8s.io/snapshotter-secret-name: csi-rbd-secret
csi.storage.k8s.io/snapshotter-secret-namespace: ceph-csi
在 RustFS 中创建备份桶 创建一个专用桶: obsbot-kubernetes-resource

创建 Kopia 仓库连接 Secret VolSync 的 Kopia mover 需要通过环境变量读取 RustFS 的连接信息和加密密码。这个 Secret 必须创建在你要备份的 PVC 所在的命名空间(例如监控所在的 monitoring,或数据库所在的 dev)
apiVersion: v1
kind: Secret
metadata:
name: volsync-restic-rustfs-secret
namespace: monitoring # 按实际 PVC 所在命名空间修改
type: Opaque
stringData:
RESTIC_REPOSITORY: "s3:http://RustFS地址:9000/桶名/目录名"
AWS_ACCESS_KEY_ID: "你的RustFSAccessKey"
AWS_SECRET_ACCESS_KEY: "你的RustFSSecretKey"
AWS_SECRET_ACCESS_KEY: "设置一个足够长且随机的加密密码" # 丢失后无法恢复备份
- 安装 VolSync Operator
helm repo add volsync https://backube.github.io/helm-charts/
helm repo update
# 查看可用版本
helm search repo volsync/volsync --versions | head
# 固定版本安装
helm upgrade --install volsync volsync/volsync \
--version 0.17.0 \
--namespace volsync-system \
--create-namespace \
--wait \
--timeout 10m
验证 Operator 和 CRD
kubectl get pods -n volsync-system
kubectl get crd replicationsources.volsync.backube
kubectl get crd replicationdestinations.volsync.backube
- 创建ReplicationSource(备份配置)PVC
apiVersion: volsync.backube/v1alpha1
kind: ReplicationSource
metadata:
name: prometheus-restic-backup
namespace: monitoring
spec:
sourcePVC: prometheus-monitoring-prometheus-db-prometheus-monitoring-prometheus-0
trigger:
schedule: "30 10 * * *" # 控制器按 UTC 运行时,对应北京时间每天 18:30
manual: "initial-20261118" # 首次创建立即触发一次
restic:
repository: volsync-restic-rustfs-secret
copyMethod: Snapshot
volumeSnapshotClassName: ceph-rbd-snapshot
pruneIntervalDays: 14
retain:
daily: 7
weekly: 4
monthly: 6
JOB任务有打印截图日志说明备份成功!

查看RustFS是否有数据同步

Comments & discussion
The first comment in each thread opens a topic. Signed-in readers can keep the conversation going under that topic.
No comments yet. Sign in to start a topic.
Start a new topic
Sign in to start a topic or join the discussion.