1. 监控体系概述:日志监控的价值、常见监控体系对比、课程目标与学习路径
1.1 为什么我们要聊日志监控?
说实话,我做了十几年运维,踩过最大的坑,就是系统挂了却不知道原因。
有一次凌晨三点,线上服务突然全部超时。我登录服务器一看,CPU、内存、磁盘都正常。Prometheus 告警也没触发。折腾了两个小时,最后发现是某个 Java 进程的 GC 日志里,Full GC 频率从每分钟1次飙升到了每分钟30次。内存泄漏了。
嗯,这就是日志监控的价值。
你想想看,指标监控告诉你「系统出问题了」,但日志监控告诉你「为什么出问题」。两者缺一不可。
日志监控的核心价值,我总结为三点:
- 故障根因定位:指标告诉你「谁病了」,日志告诉你「病因」
- 安全审计与合规:谁在什么时候做了什么操作,日志是唯一证据
- 业务洞察:用户行为、交易链路、异常模式,全藏在日志里
一句话总结:没有日志监控的运维体系,就像闭着眼睛开车——你知道车在动,但不知道前面是悬崖还是加油站。
1.2 常见监控体系对比:ELK vs Prometheus vs Grafana
很多新手会问:「我到底该用 ELK 还是 Prometheus?」
我的回答是:它们根本就不是一个层面的东西。我习惯把它们分成两类——日志监控和指标监控。
| 维度 | ELK (Elasticsearch + Logstash + Kibana) | Prometheus + Grafana |
|---|---|---|
| 核心定位 | 日志收集、存储、检索、分析 | 指标采集、存储、告警、可视化 |
| 数据格式 | 非结构化/半结构化文本(JSON、多行日志) | 结构化时序数据(数值 + 标签) |
| 存储引擎 | Elasticsearch(倒排索引,适合全文搜索) | TSDB(时序数据库,适合聚合查询) |
| 典型场景 | 错误日志排查、安全审计、业务日志分析 | CPU/内存监控、QPS 趋势、告警规则 |
| 告警能力 | ElastAlert / Watcher(相对复杂) | Alertmanager(原生支持,规则灵活) |
| 学习曲线 | 中等(需要理解 ES 查询 DSL) | 较低(PromQL 上手快) |
我的个人经验:我习惯把 Prometheus 当作「体检报告」,ELK 当作「病历本」。体检报告告诉你血压高了,病历本告诉你为什么血压高。两者配合使用,才是完整的监控体系。
至于 Grafana,它其实是一个「仪表盘平台」。它可以接 Prometheus 的数据,也可以接 Elasticsearch 的数据。说白了,它就是个画图工具,但画得确实漂亮。
我建议的架构组合:
- 指标监控:Prometheus + Alertmanager + Grafana
- 日志监控:Filebeat → Kafka → Logstash → Elasticsearch → Kibana
- 统一告警:Alertmanager 负责指标告警,ElastAlert 负责日志告警
1.3 课程目标:你能学到什么?
这门课不是讲理论,而是讲实战。我把自己这些年踩过的坑、总结的经验,全部揉碎了喂给你。
学完这门课,你将具备以下能力:
- 搭建一套完整的日志监控系统:从采集、传输、存储到检索、告警,一条龙搞定
- 编写高效的日志解析规则:不管是 Nginx 日志、Java 日志还是自定义日志,都能快速解析
- 设计合理的告警策略:什么情况该告警?什么情况不该?阈值怎么设?我会告诉你我的经验值
- 处理海量日志场景:每天几百 GB 的日志,怎么保证不丢、不慢、不贵
- 用 Python 写监控脚本:当现成工具不够用时,自己动手写一个
避坑指南:我曾经在一个项目里,因为日志采集器配置不当,导致线上服务 OOM。嗯,从那以后我养成了一个习惯——任何采集器上线前,必须先做压测和资源隔离。
1.4 学习路径:我建议你这样学
这门课一共 30 章,我把它分成了四个阶段。你跟着这个节奏走,不会乱。
| 阶段 | 章节 | 核心内容 | 建议用时 |
|---|---|---|---|
| 第一阶段:基础入门 | 1-5 章 | 监控体系概述、ELK 搭建、日志采集入门 | 3 天 |
| 第二阶段:核心实战 | 6-15 章 | 日志解析、告警配置、Python 监控脚本 | 7 天 |
| 第三阶段:进阶优化 | 16-25 章 | 海量日志处理、性能调优、高可用架构 | 5 天 |
| 第四阶段:项目实战 | 26-30 章 | 完整项目:从零搭建企业级日志监控平台 | 5 天 |
我的建议:
- 别跳着看。每一章都是下一章的基础,尤其是日志解析那几章,跳过去后面会看不懂
- 每章看完,一定要动手敲代码。光看是学不会的,我见过太多「眼高手低」的案例了
- 遇到问题先自己查,查不到再问我。我会在课程群里答疑
最后说一句:监控系统不是一蹴而就的。你搭建的第一版可能很丑,告警可能天天误报。没关系,慢慢调。我现在的监控系统,也是迭代了三年才变成今天这样。
准备好了吗?我们开始吧。