高性能日志系统设计与数据复盘
📚 共计 30 章节
01
日志系统概述
日志的价值 · 演进历史 · 核心指标
基础
概念
02
日志采集架构
Agent采集 · 无侵入 · 边缘 vs 集中
架构
采集
03
日志格式设计
结构化 vs 非结构化 · 字段规范 · 级别
规范
设计
04
高性能写入策略
批量写入 · 异步 · 缓冲区 · 零拷贝
性能
写入
05
日志轮转与归档
大小/时间轮转 · 压缩 · 冷热分离
运维
存储
06
日志传输协议
TCP/UDP · HTTP/HTTPS · gRPC · 消息队列
网络
协议
07
日志采集器选型
Filebeat · Logstash · Fluentd · Vector · 自研
工具
对比
08
日志解析与清洗
正则 · JSON · Grok · 字段提取
解析
ETL
09
日志存储引擎
Elasticsearch · ClickHouse · Loki · 本地文件
存储
引擎
10
日志索引设计
分片策略 · 生命周期 · 模板 · 别名
索引
优化
11
日志检索优化
全文检索 · 聚合 · 缓存 · 慢查询
检索
性能
12
日志可视化
Kibana · Grafana · 自定义面板
可视化
仪表盘
13
日志告警体系
阈值/模式告警 · 降噪 · 路由
告警
监控
14
日志链路追踪
TraceID · Span传递 · 分布式关联
链路
可观测
15
日志采样策略
固定/动态/头部/尾部/概率采样
采样
成本
16
日志脱敏与安全
敏感识别 · 脱敏算法 · 审计 · 访问控制
安全
合规
17
日志压缩与存储优化
列式存储 · 字典/差分编码 · 降精度
压缩
存储
18
日志数据复盘方法论
复盘流程 · 根因分析 · 趋势 · 异常检测
复盘
分析
19
日志质量监控
丢失/延迟检测 · 格式校验 · 覆盖率
质量
监控
20
日志系统容量规划
吞吐量 · 存储估算 · 集群规模 · 弹性
容量
规划
21
日志系统高可用设计
多副本 · 故障转移 · 一致性 · 容灾
高可用
架构
22
日志系统性能调优
写入/查询调优 · 网络 · 内存优化
调优
性能
23
日志系统监控与运维
集群/节点监控 · 资源 · 自动化运维
运维
监控
24
日志系统成本控制
存储/计算/传输优化 · 资源利用率
成本
优化
25
日志系统迁移方案
ELK→Loki · 自建→云 · 迁移工具
迁移
实战
26
日志系统最佳实践
命名规范 · 配置管理 · 灰度发布
规范
实践
27
日志系统案例分析
电商 · 金融 · 物联网日志系统
案例
行业
28
日志系统未来趋势
AI驱动 · eBPF · Serverless架构
趋势
前沿
29
日志系统实战项目
从零搭建 · 数据复盘 · 性能压测
实战
项目
30
课程总结与进阶
知识体系 · 面试题 · 学习资源 · 社区
总结
进阶