Kubeflow 日志与监控基础

📚 共计 30 章节

Kubeflow日志与监控概述

为什么需要日志与监控 · 日志体系架构 · 核心指标

Kubeflow日志采集基础

Fluentd/Filebeat · 采集配置 · 标签与元数据

日志存储与检索

Elasticsearch · Kibana可视化 · Lucene查询语法

监控指标采集

Prometheus架构 · 组件指标暴露 · 自定义采集

监控Prometheus

监控告警与可视化

Grafana仪表盘 · 告警规则 · 钉钉/邮件通知

告警可视化

Pipeline日志追踪

运行日志采集 · Artifact关联 · 失败任务定位

Notebook日志管理

Jupyter日志 · 用户行为 · 资源使用日志

模型训练监控

Loss/Accuracy采集 · 资源利用率 · 分布式聚合

模型服务监控

推理请求日志 · 延迟/吞吐量 · 漂移检测

平台整体监控

集群资源(CPU/GPU) · 组件健康 · 可用性

日志保留策略 · 阈值设置 · 告警风暴抑制

常见问题诊断 · 日志分析技巧 · 异常处理

日志与监控安全

日志脱敏 · 访问控制 · 审计日志

扩展与自定义

自定义Exporter · 日志解析插件 · 数据持久化

电商推荐 · 金融风控 · 医疗影像监控

ELK vs Loki · Prometheus vs Thanos · Grafana vs Kibana

自动化运维

自动化采集部署 · 仪表盘自动化 · 告警规则自动化

自动化DevOps

存储成本控制 · 数据采样 · 长期归档

多集群管理

多集群日志聚合 · 统一视图 · 跨集群告警

多集群统一

MLOps流水线 · 自动化测试监控

数据可视化进阶

Grafana高级图表 · 日志模式分析 · 关联分析

可视化高级

Elasticsearch API · Prometheus API · Grafana API

K8s原生监控集成

kube-state-metrics · node-exporter · cAdvisor

Kubernetes集成

高可用部署

ES集群高可用 · Prometheus(Thanos) · Grafana高可用

高可用架构

数据备份与恢复

ES快照备份 · Prometheus备份 · Grafana配置备份

采集性能调优 · 查询优化 · 存储优化

云原生生态集成

AWS CloudWatch · Azure Monitor · GCP Stackdriver

云原生集成

搭建完整平台 · 端到端监控 · 运维手册

eBPF采集 · OpenTelemetry · AIOps智能运维

总结与展望

课程回顾 · 常见误区 · 学习路径推荐