从Jupyter到Kubeflow:机器学习工程化实战
📚 共计 30 章节
第1章
Jupyter的困境:为什么需要Kubeflow?
从单机实验到生产环境的鸿沟
动机
背景
第2章
Kubeflow初探
架构概览、核心组件与部署方式
架构
部署
第3章
环境准备
在本地搭建MiniKF或Kind集群
本地
集群
第4章
Kubeflow Dashboard
第一次登录与界面导航
UI
入门
第5章
Notebook Server
在Kubeflow中启动Jupyter实例
Notebook
Jupyter
第6章
从本地到云端
将Jupyter Notebook迁移到Kubeflow Notebook
迁移
实战
第7章
Pipeline概念
什么是Kubeflow Pipeline?DAG与组件
核心
DAG
第8章
第一个Pipeline
使用Kubeflow SDK编写Hello World流水线
入门
SDK
第9章
组件封装
将Jupyter函数转化为Kubeflow组件
组件
封装
第10章
数据传递
组件间的输入输出与Artifact管理
数据
Artifact
第11章
条件分支与循环
在Pipeline中实现复杂逻辑
控制流
高级
第12章
参数化Pipeline
使用Params和Metrics进行超参调优
超参
调优
第13章
实验追踪
集成MLflow与Kubeflow Metadata
MLflow
追踪
第14章
模型训练
在Pipeline中集成PyTorch/TensorFlow训练任务
训练
PyTorch
第15章
分布式训练
利用Kubeflow的TFJob/PyTorchJob
分布式
TFJob
第16章
模型评估
在Pipeline中加入验证与测试步骤
评估
验证
第17章
模型注册
使用Kubeflow Model Registry管理模型版本
注册
版本
第18章
模型部署
KFServing与KServe实现在线推理
部署
推理
第19章
批处理推理
使用Kubeflow Pipeline进行批量预测
批处理
预测
第20章
监控与日志
集成Prometheus与Kubeflow Pipelines UI
监控
Prometheus
第21章
版本控制
将Pipeline与GitOps结合
GitOps
CI/CD
第22章
多环境管理
开发、测试、生产环境的Pipeline配置
环境
配置
第23章
权限控制
RBAC与多租户管理
RBAC
安全
第24章
缓存与复用
利用Caching加速Pipeline执行
缓存
加速
第25章
自定义组件
使用Dockerfile构建复杂组件
Docker
自定义
第26章
组件仓库
复用社区组件与构建私有仓库
仓库
社区
第27章
调度与触发器
定时任务与事件驱动Pipeline
调度
事件
第28章
成本优化
资源配额、自动扩缩容与Spot实例
成本
Spot
第29章
故障排查
常见错误与调试技巧
调试
排错
第30章
综合实战
从Jupyter Notebook到生产级Kubeflow Pipeline全流程迁移
实战
迁移