📚 实战体系 · 30章

📊 大屏监控系统
数据采集架构实战

从入门到架构师 · 推拉模式 · 实时流处理 · 云原生采集
📖 30 章节
30 实战案例
🧩 200+ 技术要点
🚀 风格 · 明快色系
01 数据采集架构概述
  • 大屏监控系统简介
  • 数据采集核心作用
  • 推模式 vs 拉模式
02 数据源接入
  • MySQL/PostgreSQL
  • MongoDB/Redis
  • API接口接入
03 日志采集技术
  • Filebeat 基础配置
  • Logstash 管道处理
  • Fluentd 插件生态
  • 日志采集最佳实践
04 消息队列中间件
  • Kafka Topic/Partition
  • Kafka 高可用部署
  • RabbitMQ vs Kafka
05 实时流处理
  • Flink 基础架构
  • 时间语义与水位线
  • 状态管理与容错
  • Flink SQL 实时计算
06 数据清洗与转换
  • ETL 流程设计
  • 数据脱敏策略
  • 脏数据处理机制
  • 数据质量监控指标
07 时序数据库
  • InfluxDB 数据模型
  • TDengine 超级表
  • Prometheus 存储原理
  • 时序数据压缩算法
08 数据存储层设计
  • 分层存储策略
  • 列式存储 Parquet/ORC
  • 数据生命周期管理
09 数据采集网关
  • Nginx 反向代理
  • Kong API 网关
  • 自定义采集网关
10 采集协议与格式
  • HTTP/HTTPS 采集
  • gRPC 双向流
  • Protobuf 序列化
  • Avro vs JSON
11 数据采集 SDK 开发
  • Java SDK 设计模式
  • Python 采集代理
  • 多语言 SDK 规范
12 采集任务调度
  • Quartz 定时调度
  • XXL-JOB 分布式调度
  • 任务依赖与重试
13 数据采集监控
  • 采集延迟监控
  • 数据丢失率统计
  • 链路追踪 OpenTelemetry
14 高可用架构
  • 主备切换策略
  • 多活数据中心
  • 故障自动转移
15 数据一致性保障
  • Exactly-Once 语义
  • 幂等性设计
  • 分布式事务 Saga
16 采集性能优化
  • 批量采集策略
  • 压缩传输 Snappy/Zstd
  • 连接池优化
  • 缓冲区调优
17 安全与权限
  • TLS/mTLS 加密传输
  • RBAC/ABAC 访问控制
  • 审计日志设计
18 数据采集测试
  • 单元测试 Mock
  • 集成测试环境模拟
  • 压力测试 JMeter
19 采集配置管理
  • 配置中心 Apollo/Nacos
  • 动态配置热更新
  • 配置版本管理
20 数据采集版本管理
  • 采集脚本版本控制
  • 数据模型版本兼容
  • 灰度发布策略
21 边缘采集节点
  • 边缘计算架构
  • 边缘节点数据缓存
  • 断网续传机制
22 多租户采集
  • 租户隔离方案
  • 资源配额管理
  • 租户级监控告警
23 采集数据路由
  • 动态路由规则
  • 基于内容的路由
  • 路由表热加载
24 数据采样策略
  • 全量 vs 增量采集
  • 自适应采样算法
  • 采样率动态调整
25 采集元数据管理
  • 元数据模型设计
  • 元数据自动发现
  • 元数据血缘追踪
26 数据采集 SLA
  • SLA 指标定义
  • SLA 监控告警
  • SLA 违约补偿机制
27 采集成本控制
  • 计算资源优化
  • 存储成本优化
  • 传输带宽优化
28 数据采集合规
  • GDPR 合规要求
  • 数据本地化策略
  • 数据脱敏合规
29 采集架构演进
  • 单体到分布式
  • Lambda 到 Kappa
  • 云原生采集架构
30 综合实战案例
  • 智慧城市大屏
  • 金融风控实时采集
  • 工业物联网采集