1. Kubeflow日志与监控概述：为什么需要日志与监控、Kubeflow日志体系架构、监控的核心指标
1.1 为什么需要日志与监控？—— 别等出事了再后悔
说实话，我刚开始接触Kubeflow的时候，也犯过“先跑起来再说”的毛病。模型训练跑得正欢，突然就卡住了，或者莫名其妙地OOM了。你猜怎么着？我连日志都没开全，监控面板更是空白一片。结果呢？排查问题全靠猜，浪费了整整两天时间。
所以，日志与监控到底有多重要？我总结了三点：
- 快速定位故障：训练任务失败、Pod重启、API超时——没有日志，你就像在黑暗中找钥匙。
- 性能瓶颈分析：GPU利用率低、内存泄漏、网络延迟——监控数据会告诉你真相。
- 资源成本控制：集群资源被谁吃了？哪个Pipeline最耗钱？监控能帮你算清楚账。
核心观点：日志是“事后诸葛亮”，监控是“事前诸葛亮”。两者缺一不可。
我在项目中遇到过最典型的一个场景：一个Pipeline跑了一周，突然在第5天失败了。如果没有日志，你根本不知道是数据源挂了，还是模型代码有bug。说白了，日志就是你的“黑匣子”。
1.2 Kubeflow日志体系架构—— 从Pod到控制平面
Kubeflow的日志体系，说白了就是“分层收集、统一汇聚”。我习惯把它拆成三层来看：
- Pod级别日志：每个训练任务、Notebook、Pipeline组件都会产生stdout/stderr日志。Kubernetes默认会把这些日志写到节点的/var/log/pods/目录下。
- 控制平面日志：Kubeflow自身的组件（比如Pipelines API Server、Metadata Store、Katib）也会产生日志。这些日志通常通过kubectl logs来查看。
- 聚合层：生产环境中，我们一般会用EFK（Elasticsearch + Fluentd + Kibana）或Loki + Grafana来统一收集和查询日志。
嗯，这里要注意：Kubeflow Pipeline的日志比较特殊。每个Pipeline组件运行在独立的Pod里，日志是分散的。我建议你直接用Kubeflow Central Dashboard的“Run Output”页面查看，它会自动聚合所有组件的日志。
小技巧：如果你用kubectl logs查看Pod日志，记得加上--tail=100参数，只看最后100行，不然刷屏刷到你怀疑人生。
下面这张图是我自己画的Kubeflow日志体系架构图，你看一眼就明白了：
1.3 监控的核心指标—— 盯住这五个就够了
监控指标千千万，但真正关键的其实没几个。我根据自己的实战经验，给你列了五个核心指标：
| 指标类别 | 具体指标 | 为什么重要 | 我踩过的坑 |
|---|---|---|---|
| 资源利用率 | CPU、内存、GPU使用率 | 判断资源是否充足，是否存在浪费 | 有一次GPU利用率只有20%，结果发现是数据加载太慢 |
| 任务状态 | Pipeline运行状态、Pod重启次数 | 快速发现失败任务 | Pod一直CrashLoopBackOff，我查了半天才发现是镜像拉取失败 |
| 延迟 | API响应时间、数据加载时间 | 定位性能瓶颈 | 模型推理接口平均延迟2秒，后来发现是数据库连接池太小 |
| 错误率 | HTTP 5xx错误、训练Loss异常 | 提前预警模型发散 | Loss突然变成NaN，监控没告警，白白浪费了10个小时 |
| 吞吐量 | QPS、数据吞吐量 | 评估系统承载能力 | 上线当天QPS只有预期的1/3，监控数据帮我快速定位到网络瓶颈 |
避坑指南：我曾经犯过一个低级错误——只监控了Pod级别的CPU和内存，却忽略了GPU显存。结果模型训练时显存爆了，Pod直接OOMKilled。所以，GPU显存监控一定要加上！
你可能会问：这些指标怎么采集？我推荐用Prometheus + Grafana的组合。Prometheus负责拉取指标，Grafana负责可视化。Kubeflow官方其实已经内置了Prometheus的ServiceMonitor配置，你只需要部署一下就行。
举个例子，下面是一个简单的Prometheus指标查询语句，用来查看所有Pod的CPU使用率：
# 查询所有Kubeflow命名空间下Pod的CPU使用率（百分比）
sum(rate(container_cpu_usage_seconds_total{namespace="kubeflow"}[5m]))
/
sum(kube_pod_container_resource_limits_cpu_cores{namespace="kubeflow"})
* 100嗯，这里要注意：PromQL的语法刚开始可能有点绕，但多用几次就习惯了。我建议你先从Grafana的官方Dashboard模板开始，别自己从头画图，省时省力。
个人习惯：我会在Grafana上建三个Dashboard：一个给运维看（资源利用率+任务状态），一个给算法工程师看（训练指标+模型性能），一个给自己看（所有指标汇总）。这样各取所需，互不干扰。
最后说一句：监控不是摆设，你得设置告警。我习惯用Alertmanager配置告警规则，比如“Pod重启次数超过3次”、“GPU利用率低于10%持续5分钟”就发钉钉或邮件通知。别等到用户投诉了才发现问题。