状态监测系统与运维平台对接实战

📚 共计 30 章节

课程导论与架构设计

状态监测系统概述 · 运维平台角色 · 对接整体架构 · 技术选型 (Prometheus + Grafana + Alertmanager)

环境搭建与基础配置

Docker Compose部署Prometheus Stack · 数据持久化 · 网络规划与端口映射

Prometheus核心概念

数据模型 (Metric/Label/Sample) · 四种指标类型 · Pull模型原理

Node Exporter部署 · 自定义Exporter (Python) · 注册与健康检查

即时/范围查询 · 聚合操作符 · 常用函数 (rate/increase/histogram_quantile)

告警规则编写

Prometheus Rule语法 · 分组与抑制 · 阈值告警 · 趋势告警

Alertmanager配置

接收者 (Email/Webhook/钉钉) · 路由树 · 静默与抑制规则

Alertmanager通知

Grafana数据源与仪表盘

添加Prometheus数据源 · 导入官方仪表盘 · 自定义Dashboard

Grafana可视化

Grafana告警与通知

Grafana Alerting v2 · 创建告警规则 · 对接Alertmanager统一告警

运维平台对接方案

REST API · Webhook被动接收 · 消息队列 (Kafka) 异步模式

REST API对接实战

设计告警事件API · Python Flask实现 · API鉴权与限流

Webhook对接实战

Alertmanager Webhook配置 · 解析Payload · 写入运维平台数据库

Kafka消息队列对接

部署Kafka集群 · Alertmanager Kafka Producer · Consumer消费告警

Kafka消息队列

告警事件标准化

统一告警格式 (AlertID/Severity/Timestamp/Labels/Annotations) · 字段映射

标准化规范

告警去重与聚合

基于指纹的去重算法 · 时间窗口聚合 · 告警风暴抑制策略

告警升级机制

基于持续时间升级 · 轮次升级 · Escalation配置实战

告警生命周期管理

告警状态机 (Firing/Resolved/Acknowledged/Silenced) · 状态同步 · 历史归档

生命周期状态机

告警通知渠道集成

邮件 (SMTP) · 短信 (阿里云) · 即时通讯 (钉钉/企微机器人)

通知多渠道

告警值班表管理

轮值排班算法 · 值班组配置 · 通知路由与值班表联动

告警统计分析

趋势分析 (日/周/月) · Top N告警源 · MTTA/MTTR计算

告警抑制与静默

基于标签静默 · 周期性静默 (维护窗口) · 依赖关系抑制

告警自愈与自动化

Webhook触发自动化 · Ansible Playbook联动 · Kubernetes自愈 (Pod重启)

自愈自动化

监控数据可视化大屏

Grafana大屏设计原则 · 实时数据流 · 拓扑图与热力图

大屏可视化

日志监控集成

Loki部署配置 · LogQL查询语法 · 日志告警规则编写

链路监控集成

Jaeger部署 · Trace数据采集 · 基于延迟的告警规则

多云环境监控

阿里云CMS Exporter · 腾讯云Monitor Exporter · 多云统一告警聚合

多云云监控

高可用架构设计

Prometheus HA (Thanos) · Alertmanager集群 · Grafana多实例负载均衡

高可用Thanos

安全与权限控制

Prometheus Basic Auth · Grafana RBAC · API Token · 审计日志

性能优化与容量规划

Prometheus内存优化 · 采集频率调整 · 存储保留策略 · 查询调优

项目实战与总结

从零搭建完整监控告警系统 · 对接运维平台 · 故障演练 · 最佳实践