01
日志分析概述
日志的价值、实时分析 vs 离线分析、典型应用场景（运维监控、安全审计、业务洞察）
概念场景
02
核心架构总览
数据采集层、传输层、处理层、存储层、查询与可视化层
架构分层
03
数据采集技术选型
Filebeat vs Fluentd vs Logstash，如何选择Agent
采集对比
04
高可靠传输
Kafka 在日志管道中的核心作用、分区与副本机制
Kafka可靠性
05
实时流处理引擎
Apache Flink 基础概念、DataStream API 入门
Flink流处理
06
日志解析与结构化
正则表达式、Grok 模式、JSON 解析器
解析Grok
07
状态管理与容错
Flink 的 Checkpoint 与 Savepoint 机制
容错状态
08
窗口计算
滚动窗口、滑动窗口、会话窗口在日志聚合中的应用
窗口聚合
09
复杂事件处理（CEP）
日志中的模式匹配与告警规则引擎
CEP告警
10
数据存储选型
Elasticsearch 全文搜索、时序数据库（InfluxDB/ClickHouse）对比
存储ES
11
Elasticsearch 集群设计
分片策略、索引生命周期管理（ILM）
ES分片
12
日志索引优化
Mapping 设计、字段类型选择、避免字段膨胀
优化Mapping
13
查询与可视化
Kibana 仪表盘设计、常用查询语法（Lucene/Query DSL）
Kibana可视化
14
告警系统设计
基于阈值、基于频率、基于机器学习异常检测
告警ML
15
元数据管理
日志来源、主机信息、应用标签的关联与提取
元数据标签
16
数据清洗与过滤
丢弃无用日志、脱敏敏感信息（IP、身份证）
清洗脱敏
17
性能调优
Flink 并行度设置、Kafka 分区数优化、ES 写入瓶颈分析
调优性能
18
资源估算
日志量预估、带宽计算、存储容量规划
容量规划
19
多租户隔离
不同业务线的日志隔离方案（索引级、空间级）
多租户隔离
20
日志链路追踪
结合 TraceID 实现请求级别的日志关联
TraceID链路
21
冷热数据分层
热数据 SSD、温数据 HDD、冷数据对象存储（S3）
分层存储
22
数据保留策略
基于时间的滚动删除、基于容量的删除
保留策略
23
安全与权限
ES 的 RBAC、Kafka 的 ACL、日志加密传输
安全权限
24
监控与运维
架构自身的可观测性（Prometheus + Grafana）
监控可观测
25
容灾与高可用
跨机房部署、数据复制、故障切换
容灾HA
26
实战案例一：Nginx 访问日志实时分析
PV/UV/状态码分布
实战Nginx
27
实战案例二：应用错误日志实时告警
异常堆栈聚合
实战告警
28
实战案例三：安全审计日志分析
暴力破解检测
实战安全
29
架构演进
从单体到微服务、从自建到云原生（托管Kafka/Flink）
演进云原生
30
总结与展望
AIOps 趋势、eBPF 技术、OpenTelemetry 标准
AIOpseBPF