2. Kubeflow初探：架构概览、核心组件与部署方式

好，咱们进入正题。上一章我们聊了从 Jupyter 到工程化的痛点，说白了就是「模型在手，跑不起来」。这一章，我们来看看 Kubeflow 到底能帮我们解决什么问题。

我第一次接触 Kubeflow 是在一个金融风控项目里。当时团队用 Jupyter 做实验，模型 AUC 都 0.92 了，结果要上线时发现——嗯，代码在笔记本里，依赖环境在本地，数据路径写死了。整个交付过程折腾了两周。后来我就在想：有没有一个平台，能把从实验到部署的流程串起来？

Kubeflow 就是干这个的。

2.1 Kubeflow 是什么？

Kubeflow 是 Google 开源的一个机器学习平台，跑在 Kubernetes 上。它的目标很简单：让 ML 工作流像管理微服务一样方便。

你想想看，Kubernetes 能管理容器、做弹性伸缩、搞服务发现。那 ML 的模型训练、超参调优、模型部署，本质上也是一个个「任务」对吧？Kubeflow 就是把这些任务包装成 Kubernetes 原生的资源。

2.2 整体架构概览

先上一张架构图，这是我根据实际项目经验画的。别被吓到，我们一个一个拆解。

这张图我画了好几个版本。一开始想画得特别全，后来发现——嗯，初学者看着容易晕。所以简化成五个核心层：用户接口、工作流引擎、训练组件、模型服务、存储与监控。

2.3 核心组件详解

2.3.1 Central Dashboard

这是 Kubeflow 的「门面」。你装好 Kubeflow 后，第一个看到的就是这个仪表盘。它把 Notebook、Pipeline、训练任务、模型服务都整合到一个界面里。

我个人习惯把 Dashboard 固定成浏览器首页。每天上班第一件事，看看 Pipeline 跑没跑完，模型有没有异常。

2.3.2 Kubeflow Pipelines

这是整个平台的核心。它让你用 Python SDK 定义 ML 工作流，然后自动编译成 YAML 交给 Argo Workflows 执行。

举个例子，一个典型的训练流程：

# 定义 Pipeline 组件
@dsl.component
def preprocess(data_path: str) -> str:
    # 数据清洗逻辑
    return clean_data_path

@dsl.component
def train(data_path: str) -> str:
    # 模型训练逻辑
    return model_path

@dsl.component
def evaluate(model_path: str) -> float:
    # 模型评估逻辑
    return accuracy

# 组装 Pipeline
@dsl.pipeline(name='training-pipeline')
def ml_pipeline(data_path: str):
    preprocess_op = preprocess(data_path=data_path)
    train_op = train(data_path=preprocess_op.output)
    evaluate_op = evaluate(model_path=train_op.output)

2.3.3 Katib（超参调优）

做模型调参时，你是不是也手动改过几十次学习率？Katib 就是帮你自动干这个的。它支持随机搜索、贝叶斯优化、网格搜索等策略。

我记得第一次用 Katib 调一个 XGBoost 模型，跑了 50 组实验，自动找到了最优参数组合。比自己手动调快了至少 3 倍。

2.3.4 KFServing

模型训练完了，怎么上线？KFServing 就是干模型推理的。它支持 TensorFlow、PyTorch、Scikit-learn 等主流框架，还能自动做弹性伸缩。

说白了，你只需要提供一个模型文件，KFServing 帮你搞定 API 服务、监控、版本管理。

2.4 部署方式对比

部署 Kubeflow 有几种常见方式。我根据项目经验整理了一个对比表：

部署方式	适用场景	难度	维护成本	推荐指数
MiniKF (单机)	个人学习、小团队原型验证	低	低	⭐⭐⭐⭐
Kubeflow on GKE/AKS/EKS	生产环境、企业级部署	中	中	⭐⭐⭐⭐⭐
裸机部署 (kubeadm)	私有化部署、数据安全要求高	高	高	⭐⭐⭐
MicroK8s + Kubeflow	边缘计算、资源受限场景	中	中	⭐⭐⭐

2.5 快速部署实战

这里我推荐用 MiniKF 快速体验。它基于 Vagrant 和 VirtualBox，一条命令就能启动。

# 1. 安装 Vagrant 和 VirtualBox
# 2. 下载 MiniKF
git clone https://github.com/arrikto/minikf.git
cd minikf

# 3. 启动
vagrant up

# 4. 访问 Dashboard
# 浏览器打开 https://10.10.10.10
# 默认账号: admin@kubeflow.org
# 默认密码: 12341234

启动后你会看到 Central Dashboard。嗯，这时候就可以开始你的第一个 Pipeline 了。

2.6 我的建议

如果你是第一次接触 Kubeflow，别急着把所有组件都搞明白。先跑通一个最简单的 Pipeline：数据输入 → 训练 → 输出模型。这个过程会让你对「ML 工程化」有个直观感受。

我在带团队时，经常说一句话：「先跑起来，再优化」。Kubeflow 的学习曲线确实有点陡，但一旦上手，你会发现它把 ML 流程的复杂度降低了很多。

---