01
监控系统概述
什么是实时监控系统 · 核心价值 · Zabbix/Prometheus/Nagios对比
概念选型
02
数据采集架构设计
采集层 · 传输层 · 存储层 · 展示层 分层设计原则
架构分层
03
采集端技术选型
Agent vs Agentless · Pull vs Push · 采集器性能对比
选型模式
04
指标数据模型
Metric · Label · Timestamp · Value 四要素 & 最佳实践
模型设计
05
Exporter开发实战
Python 自定义 Exporter · 暴露 /metrics 端点
开发Python
06
文本格式协议
Prometheus Exposition Format · HELP/TYPE/注释规范
协议规范
07
数据采集频率策略
固定间隔 · 自适应采集 · 事件驱动采集 适用场景
策略频率
08
数据预处理与清洗
异常值过滤 · 数据聚合 · 单位转换 · 空值处理
清洗预处理
09
标签设计与规范化
命名规范 · 基数控制 · 常见设计陷阱
标签规范
10
服务发现机制
静态配置 · 文件发现 · Consul · Kubernetes 发现
服务发现动态
11
采集器高可用设计
主备模式 · 负载均衡 · 去重机制
高可用容错
12
数据传输协议
HTTP/HTTPS · gRPC · MQTT · Kafka 应用
传输协议
13
数据压缩与优化
Snappy · Gzip 对比 · 批量发送与合并请求
压缩优化
14
数据缓冲与重试
内存缓冲 · 磁盘缓冲 · 背压机制 · 指数退避重试
缓冲重试
15
采集安全机制
TLS加密 · Basic Auth · Token认证 · IP白名单
安全认证
16
日志采集实战
Filebeat/Tail原理 · 多行日志合并 · 日志解析
日志Filebeat
17
Metrics采集实战
CPU · 内存 · 磁盘 · 网络 系统指标采集原理
系统指标
18
自定义业务指标采集
业务埋点 · Histogram/Summary/Gauge/Counter 选择
业务埋点
19
采集器资源管理
CPU限制 · 内存限制 · 文件句柄 · 采集协程池
资源限制
20
数据一致性保障
Exactly-Once语义 · 幂等性设计 · 时间戳对齐
一致性幂等
21
采集链路追踪
OpenTelemetry集成 · Span与Trace在采集中的应用
链路OpenTelemetry
22
大规模采集挑战
万级节点采集 · 数据分片 · 采集拓扑优化
大规模分片
23
采集配置管理
配置热加载 · 版本管理 · 配置校验
配置热加载
24
采集监控自愈
采集器自身监控 · 心跳检测 · 自动重启
自愈监控
25
数据质量监控
指标覆盖率 · 数据延迟检测 · 完整性校验
质量校验
26
多云环境采集
混合云架构 · 跨网络采集 · 代理转发
多云混合云
27
容器环境采集
cAdvisor · kube-state-metrics · Node Exporter 在 K8s 部署
容器K8s
28
采集性能调优
Go Runtime优化 · 连接池调优 · 序列化优化
性能调优
29
采集故障排查
常见采集失败原因 · 日志分析 · 调试技巧
故障排查
30
全流程实战案例
从零搭建一套完整的实时监控数据采集系统
实战全流程