实时数据管道搭建与运维实战
📚 30章 · 从入门到架构
v2.4
01
实时数据管道概述
实时vs离线
Lambda/Kappa
应用场景
02
消息队列选型与部署
Kafka核心概念
集群部署
高可用
03
Kafka生产与消费实战
Producer API
Rebalance
投递语义
04
Kafka运维与监控
日志管理
分区重分配
JMX监控
05
实时计算引擎Flink入门
架构与概念
环境搭建
WordCount
06
Flink DataStream API
Source/Transformation
KeyBy+Window
状态+Checkpoint
07
Flink Table & SQL
动态表
DDL/DML
维表Join/CDC
08
Flink部署与调优
任务提交
内存调优
反压/Checkpoint
09
实时数据采集工具
Flume
Filebeat/Logstash
Kafka Connect
10
实时数据存储选型
HBase/Redis
Elasticsearch
ClickHouse
11
实时数仓分层设计
ODS/DWD/DWS/ADS
宽表设计
一致性
12
实时ETL与数据清洗
JSON/AVRO解析
Watermark
CEP
13
实时数据质量监控
完整性校验
延迟监控
异常告警/血缘
14
实时数据管道CI/CD
GitLab Pipeline
版本管理
配置中心
15
容器化部署实时管道
Docker Compose
K8s Operator
Helm Chart
16
实时数据安全
Kafka SSL
Flink权限
脱敏/审计
17
实时数据管道监控体系
Prometheus+Grafana
自定义Metrics
告警规则
18
日志实时分析管道实战
Filebeat→Kafka→Flink
ES存储
Kibana可视化
19
用户行为实时分析管道
埋点→Kafka→Flink
ClickHouse
BI报表
20
实时推荐系统数据管道
实时行为采集
特征工程
AB测试
21
实时数据同步工具
Canal Binlog
Debezium
Maxwell
22
实时数据湖技术
Iceberg+Flink
Hudi入湖
Delta Lake
23
实时数据管道容灾与高可用
异地多活
MirrorMaker2
Failover策略
24
实时数据管道成本优化
压缩策略
动态资源
冷热分离
25
实时数据治理
元数据管理
数据质量中心
资产目录
26
实时数据管道测试策略
单元测试
集成测试
混沌工程
27
实时数据管道运维自动化
告警自愈
自动扩缩容
故障自诊断
28
实时数据管道性能基准测试
Kafka吞吐量
背压测试
端到端延迟
29
实时数据管道演进案例
离线→实时
Spark→Flink
Lambda→Kappa
30
实时数据管道未来趋势
流式数据库
Serverless
AI for Pipeline