第4章 Kubeflow核心组件

4. Kubeflow 核心组件：Central Dashboard、Pipelines、Katib、KFServing、Notebook Server

好，咱们进入正题。Kubeflow 不是一个大铁块，它是一套组件拼起来的。你想想看，一个完整的机器学习平台，至少需要什么？

你得有个地方写代码吧？—— Notebook Server
写完了得跑实验吧？—— Pipelines
跑完了得调参吧？—— Katib
调好了得部署吧？—— KFServing
这么多东西，总得有个地方统一看吧？—— Central Dashboard

说白了，这五个组件就是 Kubeflow 的「五脏六腑」。下面我一个一个拆开讲。

4.1 Central Dashboard — 你的指挥中心

Central Dashboard 是什么？说白了就是 Kubeflow 的「首页」。你装完 Kubeflow 第一个看到的就是它。

我个人习惯，一上来先看 Dashboard 的「Namespace」切换。为什么？因为 Kubeflow 是多租户的。你切到不同 Namespace，看到的东西完全不一样。我在项目中遇到过有人调了半天 Katib 没反应，结果发现 Namespace 选错了——嗯，这种低级错误我也犯过。

  核心功能：
  统一入口：所有组件从这里点进去
多租户管理：不同团队隔离
资源监控：Pod、PVC、Service 一目了然
快捷操作：一键启动 Notebook、查看 Pipeline 运行状态

我的建议： 刚上手时，先把 Dashboard 的每个菜单点一遍。不用记住所有功能，混个脸熟就行。后面用到哪个组件，你至少知道入口在哪。

4.2 Notebook Server — 你的开发环境

做机器学习，你总得有个地方写代码吧？Notebook Server 就是干这个的。

它本质上是在 Kubernetes 上启动一个 Pod，里面预装了 Jupyter Lab 或者 Jupyter Notebook。你可以在 Web 界面里直接选镜像、配资源、挂载数据卷。

我记得第一次用的时候，最爽的一点是：不用在自己电脑上配环境了。以前搞个 TensorFlow 环境，装 CUDA、cuDNN 能折腾半天。现在呢？选个官方镜像，点一下，等两分钟，环境就好了。

  配置要点：
  镜像选择： 官方提供了 TensorFlow、PyTorch、MXNet 等镜像。我建议用自定义镜像，把常用库都打进去
资源分配： CPU/内存/GPU 按需配。注意，GPU 要提前配好 Node 标签和调度策略
数据卷挂载： 建议挂载 PVC，这样 Notebook 删了数据还在

避坑指南： 我曾经因为 Notebook 里装了太多包，导致镜像体积超过 10GB，启动慢得要死。后来学乖了——基础镜像尽量精简，额外包用 pip install 写在 Notebook 的第一个 cell 里。

4.3 Pipelines — 你的工作流引擎

Pipelines 是 Kubeflow 的「心脏」。它让你把机器学习流程编排成 DAG（有向无环图），然后一键运行、追踪、对比。

你想想看，一个典型的 ML 流程：数据预处理 → 训练 → 评估 → 部署。如果每一步都手动跑，不仅累，还容易出错。Pipelines 就是把这些步骤自动化了。

我个人习惯，每个 Pipeline 至少包含三个组件：

数据加载组件： 从 S3 或数据库拉数据，做清洗和特征工程
训练组件： 跑模型训练，输出模型文件
评估组件： 计算指标，决定是否部署

代码怎么写？用 Kubeflow Pipelines SDK。举个例子：

from kfp import dsl

@dsl.component
def train_model(data_path: str) -> str:
    # 训练逻辑
    model_path = "/models/model.pkl"
    return model_path

@dsl.pipeline
def my_pipeline(data_path: str):
    train_task = train_model(data_path=data_path)

我的经验： 刚开始别搞太复杂。先写一个只有两步的 Pipeline：数据加载 + 训练。跑通了再往上加。我见过太多人一上来就想搞几十个组件，结果 debug 到崩溃。

4.4 Katib — 你的自动调参师

Katib 是 Kubeflow 的超参数调优组件。说白了，就是帮你自动试参数组合，找到最优的那一组。

为什么需要它？你想想，手动调参有多痛苦。学习率设 0.01 还是 0.001？batch size 用 32 还是 64？Dropout 用 0.2 还是 0.5？排列组合下来，几十种甚至上百种可能。Katib 就是替你干这个苦力活的。

Katib 支持多种搜索算法：

算法	适用场景	我的评价
随机搜索	参数空间大，预算有限	简单粗暴，但有效
网格搜索	参数少，预算充足	最稳妥，但最慢
贝叶斯优化	中等参数规模	我比较喜欢用这个
TPE	高维参数空间	Hyperopt 的默认算法，靠谱

避坑指南： 我曾经用 Katib 跑一个 100 次 trial 的实验，结果跑了 8 个小时还没跑完。后来发现是每个 trial 的资源配得太大了。记住：trial 的资源要小，但数量要多。每个 trial 跑 5 分钟就够了，别跑 1 小时。

4.5 KFServing — 你的模型部署利器

模型训练好了，怎么上线？KFServing 就是干这个的。

它基于 Knative 和 Istio，支持自动扩缩容、灰度发布、多模型版本管理。你只需要提供一个模型文件，KFServing 自动帮你拉起推理服务。

我举个例子，部署一个 TensorFlow 模型：

apiVersion: serving.kubeflow.org/v1beta1
kind: InferenceService
metadata:
  name: my-model
spec:
  predictor:
    tensorflow:
      storageUri: gs://my-bucket/model

就这么几行 YAML，一个推理服务就起来了。KFServing 会自动拉镜像、挂载模型、暴露服务地址。

  KFServing 的核心优势：
  自动扩缩容： 没请求时缩到 0，有请求时自动拉起。省钱！
灰度发布： 新模型先接 10% 流量，没问题再全量切换
多框架支持： TensorFlow、PyTorch、SKLearn、XGBoost 都支持
请求监控： 自动集成 Prometheus 指标

我的建议： 刚开始用 KFServing 时，先别搞灰度发布那些高级功能。先跑通一个最简单的模型部署，确认服务能正常响应请求。然后再慢慢加功能。一口吃不成胖子，对吧？

小结

这五个组件，各有各的用处：

Central Dashboard 是门面，让你一眼看清全局
Notebook Server 是工作台，让你安心写代码
Pipelines 是流水线，让流程自动化
Katib 是调参师，帮你找到最优参数
KFServing 是部署工具，让模型快速上线

它们不是孤立的。你可以在 Notebook 里写代码，然后一键提交到 Pipeline，Pipeline 里调用 Katib 调参，调完的参数自动传给训练组件，训练好的模型用 KFServing 部署。整个过程，都在 Dashboard 里监控。

嗯，这就是 Kubeflow 的魅力所在。

📚 课程目录

4. Kubeflow 核心组件：Central Dashboard、Pipelines、Katib、KFServing、Notebook Server

4.1 Central Dashboard — 你的指挥中心

4.2 Notebook Server — 你的开发环境

4.3 Pipelines — 你的工作流引擎

4.4 Katib — 你的自动调参师

4.5 KFServing — 你的模型部署利器

小结