01
事件驱动架构
从传统轮询到事件驱动,核心组件:生产者、通道、处理器,优势与挑战
架构EDA
02
流处理基础概念
数据流 vs 批量,有界流 vs 无界流,实时性 vs 准实时,核心特征
流式概念
03
事件时间与处理时间
Event Time / Processing Time / Ingestion Time,水位线机制
时间语义Watermark
04
消息队列选型
Kafka / RabbitMQ / Pulsar / RocketMQ 对比,吞吐量、延迟、选型决策树
MQ选型
05
Apache Kafka 核心概念
Topic & Partition,生产者/消费者,Broker,存储与索引机制
Kafka基础
06
Kafka 生产端优化
批量发送、压缩算法、acks、幂等性与事务
性能生产者
07
Kafka 消费端优化
消费者组、再均衡、位移提交、分区分配策略、长轮询
消费者优化
08
Kafka 高可用机制
副本机制、ISR、Leader选举、数据一致性
高可用副本
09
流处理框架对比
Flink vs Spark Streaming vs Kafka Streams vs Storm,选型建议
框架对比
10
Apache Flink 核心抽象
DataStream API,算子,状态管理与状态后端
Flink算子
11
Flink 时间语义与水位线
事件时间处理,水位线生成策略,迟到数据(Side Output)
时间水位线
12
Flink 窗口操作
滚动/滑动/会话/全局窗口,窗口函数
窗口聚合
13
Flink 状态一致性
Exactly-Once,Checkpoint,Savepoint,端到端一致性
一致性状态
14
Flink 容错机制
分布式快照,异步屏障快照(ABS),故障恢复流程
容错快照
15
Flink 连接器生态
Kafka/JDBC/Elasticsearch/HDFS Connector,自定义连接器
连接器生态
16
Flink SQL
Table API & SQL,动态表,维表Join,Top-N,窗口聚合
SQLTable API
17
Kafka Streams 入门
Streams DSL,KTable & KStream,状态存储,处理器API
Kafka StreamsDSL
18
Kafka Streams 高级特性
Exactly-Once,任务与线程模型,优雅关闭,状态迁移
高级状态
19
事件序列与模式匹配
复杂事件处理(CEP),Flink CEP库,模式定义,超时与跳过
CEP模式
20
流式Join技术
窗口Join、间隔Join、临时表Join,状态管理,数据倾斜
Join流式
21
反压机制
什么是反压,Flink反压检测,Kafka反压,背压与流量控制
反压背压
22
流处理中的状态管理
ValueState/ListState/MapState,状态TTL,状态后端,迁移
状态管理
23
流处理性能调优
并行度、算子链、内存配置、网络缓冲、GC调优
调优性能
24
事件流监控与告警
Prometheus+Grafana,Flink Metrics,Kafka监控,自定义告警
监控告警
25
流处理测试策略
单元测试(TestHarness),集成测试(MiniCluster),端到端测试
测试验证
26
事件流安全
Kafka SSL/TLS,SASL认证,Flink安全,数据脱敏与审计
安全加密
27
流处理部署与运维
Kubernetes部署Flink,Kafka on K8s,滚动升级,弹性伸缩
部署K8s
28
事件驱动微服务
Event Storming,事件溯源,CQRS,最佳实践
微服务EDA
29
实时数仓与流批一体
Lambda vs Kappa,实时ETL,流式数据湖,Flink与数据湖集成
数仓流批一体
30
高频事件流实战案例
实时风控、推荐系统、物联网设备、金融交易事件流处理
实战案例