日志分析与运维数据可视化实战

📚 共计 30 章节
01
日志分析概述
日志的价值 · 分析目标 · Apache/Nginx/Syslog格式 · 分析流程
入门核心概念
02
Linux日志系统
rsyslog配置 · logrotate轮转 · journalctl · 采集策略
系统运维
03
正则表达式入门
元字符 · 量词 · 分组捕获 · Python re模块 · 性能优化
必备技能文本处理
04
Python日志处理
logging详解 · 分级 · Handler/Formatter · 配置文件化
Python开发
05
ELK技术栈入门
Elasticsearch安装 · Logstash配置 · Kibana · Filebeat
ELK入门
06
Elasticsearch核心
索引/文档 · 映射分词 · 查询DSL · 聚合 · 集群管理
搜索引擎进阶
07
Logstash实战
输入/过滤(grok/date/mutate) · 输出 · 管道优化
ETL数据管道
08
Kibana可视化
数据探索 · 仪表盘 · 图表类型 · TSVB · Canvas
可视化分析
09
Filebeat与轻量采集
架构 · 多行日志 · 模块配置 · 与Logstash/ES集成
采集轻量
10
日志采集架构设计
采集拓扑 · 高可用 · 压缩 · 带宽控制 · 安全传输
架构高可用
11
时序数据库入门
Prometheus架构 · 数据模型 · Metric类型 · PromQL基础
监控Prometheus
12
Prometheus部署
安装配置 · Target发现 · 告警规则 · Alertmanager
部署告警
13
Grafana可视化
数据源 · 面板设计 · 变量模板 · 告警通知 · 团队协作
仪表盘Grafana
14
Node Exporter与主机监控
CPU/内存/磁盘/网络 · 自定义Exporter开发
主机指标
15
容器监控
cAdvisor · Docker指标 · K8s监控 · kube-state-metrics
容器Kubernetes
16
业务指标监控
埋点设计 · APM选型 · SkyWalking · 调用链分析
APM业务
17
日志告警体系
告警分级 · 抑制静默 · 通知渠道(钉钉/邮件/企微) · 闭环
告警通知
18
日志存储与归档
冷热分层 · 索引生命周期 · 压缩比 · 存储成本优化
存储成本
19
日志清洗与ETL
数据脱敏 · 字段提取 · 标准化 · 异常检测预处理
清洗ETL
20
大规模日志处理
Kafka消息队列 · 缓冲策略 · 消费能力 · 背压处理
Kafka高吞吐
21
日志分析实战一:Nginx
PV/UV · 响应时间 · 状态码分布 · 访问日志分析
实战Nginx
22
日志分析实战二:应用错误
异常堆栈去重 · 错误率趋势 · 根因定位
错误根因
23
日志分析实战三:安全日志
暴力破解检测 · 异常登录 · SQL注入识别
安全威胁
24
日志分析实战四:业务日志
用户行为路径 · 转化漏斗 · 留存分析
业务漏斗
25
运维数据可视化设计
仪表盘原则 · 色彩搭配 · 图表选择 · 交互设计
设计可视化
26
自动化运维脚本
日志巡检 · 告警自愈 · 定时报告 · ChatOps集成
自动化脚本
27
日志平台选型
ELK vs Loki vs ClickHouse vs Splunk · 场景对比
选型对比
28
日志合规与安全
GDPR · 日志脱敏 · 审计追踪 · 访问控制
合规安全
29
SRE核心指标
SLI/SLO/SLA · 错误预算 · 燃烧率 · 仪表盘实战
SRE可靠性
30
综合实战:企业级平台
架构设计 · 实施步骤 · 效果评估 · 全栈整合
综合项目