云端ML工作流入门指南

📚 共计 30 章节

云端ML工作流概述

什么是ML工作流 · 为什么需要云端化 · 主流云平台对比 (AWS SageMaker / GCP Vertex AI / Azure ML)

云环境准备

云账号注册 · IAM权限配置 · 存储桶(S3/GCS/Blob)创建 · 网络与安全组设置

基础设施安全

数据准备与上传

数据格式规范(CSV/Parquet/Image) · 上传至云存储 · 数据版本控制(DVC/Delta Lake)

数据工程版本控制

数据标注与预处理

云端标注工具(SageMaker Ground Truth) · 数据清洗 · 特征工程 · 数据划分

标注特征工程

实验跟踪与配置

实验管理概念 · MLflow Tracking · 超参数配置 · 实验日志记录

MLflow超参数

云端训练环境配置

训练实例选择(CPU/GPU/TPU) · Docker镜像构建 · 分布式训练策略

环境分布式

模型训练与监控

训练作业提交 · 实时日志查看 · 资源利用率监控 · 自动停止与容错

超参数调优

搜索策略(网格/随机/贝叶斯) · 云端调优作业 · 早停策略

模型评估与验证

评估指标 · 混淆矩阵与ROC · A/B测试 · 模型解释性(SHAP/LIME)

评估可解释性

模型注册与版本管理

模型注册表(MLflow Model Registry) · 版本控制 · 元数据管理

模型部署策略

实时推理端点 · 批量推理 · 边缘部署 · 模型服务化(TorchServe/TFServing)

云端推理优化

模型量化 · 剪枝与蒸馏 · 推理加速(TensorRT/ONNX) · 自动缩放

ML管道自动化 · GitOps实践 · 训练与部署流水线 · 测试自动化

特征存储 (Feature Store)

特征工程标准化 · 在线/离线服务 · 特征一致性保障

数据管道与ETL

云端数据管道(Airflow/Kubeflow) · 数据转换(Spark/Beam) · 数据质量监控

模型监控与漂移检测

数据漂移检测 · 性能衰减监控 · 告警与自动回滚

成本管理与优化

云资源计费模型 · 预留/竞价实例 · 成本监控与预算设置

安全与合规

数据加密(传输/静态) · 访问控制(IAM/RBAC) · 审计日志 · 合规认证(GDPR/HIPAA)

多环境管理

开发/测试/生产隔离 · 配置管理(Terraform/CloudFormation) · 蓝绿部署

团队协作与权限

多用户协作 · 项目空间管理 · 代码与数据权限控制

Kubeflow · MLflow · Airflow · DVC · Weights & Biases 集成实践

云端Notebook开发

SageMaker Notebook · Vertex AI Workbench · Azure ML Studio 使用技巧

自动化特征工程

AutoFE工具 · 特征重要性排序 · 特征选择自动化

模型可重复性

环境锁定(Conda/Docker) · 随机种子管理 · 数据与代码版本对齐

可重复环境

大规模分布式训练

数据并行 · 模型并行 · 流水线并行 · 混合精度训练

分布式并行

模型压缩与部署

知识蒸馏 · 量化(INT8/FP16) · 剪枝策略 · 移动端部署

实时特征计算

流处理(Kafka/Flink) · 特征计算窗口 · 在线特征存储

实时流处理

模型公平性与偏见检测

偏见指标计算 · 公平性评估工具 · 缓解策略

公平性伦理

灾难恢复与备份

模型与数据备份策略 · 跨区域复制 · 故障切换演练

备份高可用

端到端项目实战

从数据采集到模型部署完整案例 · 常见问题排查 · 最佳实践总结