1. 监控体系概述:日志监控的价值、常见监控体系对比、课程目标与学习路径

1.1 为什么我们要聊日志监控?

说实话,我做了十几年运维,踩过最大的坑,就是系统挂了却不知道原因。

有一次凌晨三点,线上服务突然全部超时。我登录服务器一看,CPU、内存、磁盘都正常。Prometheus 告警也没触发。折腾了两个小时,最后发现是某个 Java 进程的 GC 日志里,Full GC 频率从每分钟1次飙升到了每分钟30次。内存泄漏了。

嗯,这就是日志监控的价值。

你想想看,指标监控告诉你「系统出问题了」,但日志监控告诉你「为什么出问题」。两者缺一不可。

日志监控的核心价值,我总结为三点:

  • 故障根因定位:指标告诉你「谁病了」,日志告诉你「病因」
  • 安全审计与合规:谁在什么时候做了什么操作,日志是唯一证据
  • 业务洞察:用户行为、交易链路、异常模式,全藏在日志里

一句话总结:没有日志监控的运维体系,就像闭着眼睛开车——你知道车在动,但不知道前面是悬崖还是加油站。

1.2 常见监控体系对比:ELK vs Prometheus vs Grafana

很多新手会问:「我到底该用 ELK 还是 Prometheus?」

我的回答是:它们根本就不是一个层面的东西。我习惯把它们分成两类——日志监控指标监控

维度 ELK (Elasticsearch + Logstash + Kibana) Prometheus + Grafana
核心定位 日志收集、存储、检索、分析 指标采集、存储、告警、可视化
数据格式 非结构化/半结构化文本(JSON、多行日志) 结构化时序数据(数值 + 标签)
存储引擎 Elasticsearch(倒排索引,适合全文搜索) TSDB(时序数据库,适合聚合查询)
典型场景 错误日志排查、安全审计、业务日志分析 CPU/内存监控、QPS 趋势、告警规则
告警能力 ElastAlert / Watcher(相对复杂) Alertmanager(原生支持,规则灵活)
学习曲线 中等(需要理解 ES 查询 DSL) 较低(PromQL 上手快)

我的个人经验:我习惯把 Prometheus 当作「体检报告」,ELK 当作「病历本」。体检报告告诉你血压高了,病历本告诉你为什么血压高。两者配合使用,才是完整的监控体系。

至于 Grafana,它其实是一个「仪表盘平台」。它可以接 Prometheus 的数据,也可以接 Elasticsearch 的数据。说白了,它就是个画图工具,但画得确实漂亮。

我建议的架构组合:

  • 指标监控:Prometheus + Alertmanager + Grafana
  • 日志监控:Filebeat → Kafka → Logstash → Elasticsearch → Kibana
  • 统一告警:Alertmanager 负责指标告警,ElastAlert 负责日志告警

1.3 课程目标:你能学到什么?

这门课不是讲理论,而是讲实战。我把自己这些年踩过的坑、总结的经验,全部揉碎了喂给你。

学完这门课,你将具备以下能力:

  1. 搭建一套完整的日志监控系统:从采集、传输、存储到检索、告警,一条龙搞定
  2. 编写高效的日志解析规则:不管是 Nginx 日志、Java 日志还是自定义日志,都能快速解析
  3. 设计合理的告警策略:什么情况该告警?什么情况不该?阈值怎么设?我会告诉你我的经验值
  4. 处理海量日志场景:每天几百 GB 的日志,怎么保证不丢、不慢、不贵
  5. 用 Python 写监控脚本:当现成工具不够用时,自己动手写一个

避坑指南:我曾经在一个项目里,因为日志采集器配置不当,导致线上服务 OOM。嗯,从那以后我养成了一个习惯——任何采集器上线前,必须先做压测和资源隔离。

1.4 学习路径:我建议你这样学

这门课一共 30 章,我把它分成了四个阶段。你跟着这个节奏走,不会乱。

阶段 章节 核心内容 建议用时
第一阶段:基础入门 1-5 章 监控体系概述、ELK 搭建、日志采集入门 3 天
第二阶段:核心实战 6-15 章 日志解析、告警配置、Python 监控脚本 7 天
第三阶段:进阶优化 16-25 章 海量日志处理、性能调优、高可用架构 5 天
第四阶段:项目实战 26-30 章 完整项目:从零搭建企业级日志监控平台 5 天

我的建议:

  • 别跳着看。每一章都是下一章的基础,尤其是日志解析那几章,跳过去后面会看不懂
  • 每章看完,一定要动手敲代码。光看是学不会的,我见过太多「眼高手低」的案例了
  • 遇到问题先自己查,查不到再问我。我会在课程群里答疑

最后说一句:监控系统不是一蹴而就的。你搭建的第一版可能很丑,告警可能天天误报。没关系,慢慢调。我现在的监控系统,也是迭代了三年才变成今天这样。

准备好了吗?我们开始吧。