01
Kubeflow 数据管理全景
存储架构概览 · 数据流转路径 · 核心组件关系
全景架构
02
Kubernetes 存储基础回顾
PV/PVC · StorageClass · AccessModes · 本地/网络卷
K8s存储
03
MinIO 对象存储部署
MinIO 角色 · Helm 部署 · Bucket/AccessKey · Console
MinIO对象存储
04
Kubeflow PVC 实战
Notebook 挂载 · 跨 Pod 共享 · 扩容快照 · ReadWriteMany
PVC共享
05
Kubeflow Pipelines 数据传递
Component 数据传递 · OutputPath/InputPath · Artifact
PipelineArtifact
06
VolumeOp 与 VolumeSnapshotOp
动态创建 PVC · VolumeOp 参数 · 数据备份快照
VolumeOp快照
07
Kubeflow Metadata 存储
Metadata Store · Experiment/Run/Artifact · SDK 查询
元数据SDK
08
Katib 实验数据管理
Trial 日志 · 超参持久化 · MinIO 模型权重
Katib超参
09
KFServing 模型存储
模型格式/路径 · PVC/MinIO 加载 · ModelVersion · StorageUri
KFServing模型
10
数据版本控制（DVC）集成
DVC + Kubeflow · 远程存储(MinIO/S3) · 自动版本化
DVC版本控制
11
Kubeflow 与 Feast 特征存储
Feast 架构 · Notebook 注册特征 · 在线/离线特征获取
Feast特征
12
分布式训练数据加载 (TFRecord/RecordIO)
TFRecord 优势 · 生成 TFRecord · tf.data 高效加载
TFRecord分布式
13
NFS 共享存储方案
NFS 部署 · 集群挂载 · 性能调优 · 多用户共享
NFS共享
14
JuiceFS 高性能存储
JuiceFS 架构 · CSI Driver · 缓存加速 · POSIX 兼容
JuiceFS高性能
15
Alluxio 数据编排
Alluxio 加速 · Kubeflow 集成 · 热/冷数据分层 · Spark on K8s
Alluxio编排
16
Kubeflow 与 HDFS 集成
HDFS Connector · Pipeline 读写 · Kerberos · 大规模数据
HDFS集成
17
数据预处理 Pipeline 实战
TFX/自定义组件 · 清洗特征工程 · 输出 MinIO/PVC · 模板化
预处理TFX
18
模型训练 Checkpoint 管理
保存策略 · 断点续训 · 多 Worker 同步 · MinIO 结合
Checkpoint训练
19
模型注册表与存储
MLflow Registry · 模型版本/Stage · 存储后端(MinIO/DBFS)
MLflow注册表
20
Kubeflow 与 Airflow 数据编排
Airflow 触发 Pipeline · 跨系统数据 · DAG 混合调度
Airflow编排
21
数据加密与安全存储
Secret 管理 MinIO · TLS 加密 · KMS · RBAC 权限
安全加密
22
大规模数据迁移
HDFS → MinIO · Rclone · 增量同步 · 验证回滚
迁移Rclone
23
Kubeflow 数据监控与告警
Prometheus PVC 监控 · MinIO 指标 · 告警规则 · Grafana
监控告警
24
数据备份与灾难恢复
Velero 备份 PVC/MinIO · 定期策略 · 跨集群恢复 · RPO/RTO
备份Velero
25
多云/混合云数据层
AWS S3 ↔ MinIO · GCS 集成 · Rclone/MirrorMaker · 成本优化
多云混合云
26
Kubeflow 数据血缘追踪
OpenLineage 集成 · 血缘图 · 输入输出溯源 · 审计合规
血缘OpenLineage
27
边缘 Kubeflow 数据管理
边缘存储限制 · 轻量 MinIO · 离线同步 · 边缘-云端管道
边缘轻量
28
数据质量与验证
Great Expectations · Pipeline 验证 · 质量报告 · 异常告警
数据质量验证
29
Kubeflow 数据管理最佳实践
存储选型决策树 · 成本控制 · 性能调优 · 常见坑
最佳实践决策
30
综合实战：端到端 ML 数据管道
原始数据到模型部署 · 完整 Pipeline · 数据流可视化 · 总结
实战端到端