云原生应用日志收集与故障排查实战 · 课程目录

01云原生日志体系概述

为什么传统日志收集在K8s中失效？三大标准：标准输出、Sidecar、DaemonSet

02Docker日志驱动与配置

json-file、journald、syslog、fluentd驱动，日志轮转与大小限制

03Kubernetes日志架构

kubelet日志管理、Pod日志生命周期、/var/log/pods 路径

04标准输出日志采集

kubectl logs、--tail、-f 实时查看，多容器Pod技巧

05Sidecar模式日志收集

Pod内启动Filebeat/Fluentd，共享emptyDir卷转发日志

06DaemonSet模式日志收集

每个Node部署采集Agent，采集宿主机日志文件

07Fluentd基础与配置

Input、Parser、Filter、Buffer、Output，配置文件语法

08Fluentd采集K8s日志实战

部署DaemonSet，注入Kubernetes元数据 (tag, namespace)

09Fluent Bit轻量级日志采集

Fluent Bit vs Fluentd，边缘节点优势，配置部署

10Logstash日志处理管道

Input/Filter/Output，grok正则、date、mutate 详解

11Filebeat轻量日志采集器

Harvester、Spooler、Registry，multiline多行合并

12Elasticsearch日志存储与索引

索引分片副本、ILM生命周期、索引模板设计

13Kibana日志可视化与搜索

Lucene/KQL语法、Dashboard、告警规则

14Loki日志聚合系统

Promtail+Loki+Grafana，LogQL查询语法

15Promtail日志采集配置

scrape_config、静态/K8s发现，Pipeline阶段处理

16Grafana Loki可视化

配置Loki数据源、Explore查询、日志面板

17日志采集性能优化

避免重复采集、backpressure、buffer配置

18日志格式标准化

JSON最佳实践，字段设计(timestamp/level/trace_id)

19日志安全与权限控制

日志脱敏、RBAC、TLS加密传输

20K8s事件日志收集

event_exporter/kube-eventer 采集Events

21应用日志链路追踪集成

trace_id/span_id注入，关联Jaeger/Zipkin

22故障排查方法论

四步法：时间窗口、过滤错误、上下文、根因

23Pod启动失败排查

CrashLoopBackOff、ImagePullBackOff 日志分析

24Pod运行异常排查

OOMKilled、CPU Throttling、Readiness Probe失败

25网络故障排查

DNS解析、Service不可达、NetworkPolicy阻断

26存储故障排查

PVC绑定失败、MountVolume权限、磁盘空间不足

27日志丢失问题排查

Agent崩溃、Buffer满、日志轮转文件删除

28日志系统高可用架构

多副本采集、冗余存储、Kafka缓冲、故障切换

29日志成本控制

采样策略(头部/尾部/随机)、保留策略、冷热分层

30综合实战：生产级日志平台

从0到1搭建EFK/Loki Stack，告警与SOP文档