01
课程导学
金融流处理场景概述 · Kafka与Flink技术栈定位 · 课程目标与前置知识
导学金融流
02
Kafka核心概念
Topic · Partition · Broker · Producer · Consumer · Consumer Group
基础架构
03
Kafka集群部署
单机与集群模式搭建 · ZooKeeper/KRaft模式对比 · 常用配置参数
部署运维
04
Kafka生产者深入
发送流程 · 分区策略 · ACK机制 · 幂等性与事务
生产者可靠性
05
Kafka消费者深入
消费模式 · Offset提交 · Rebalance机制 · 静态消费组
消费者偏移量
06
Kafka高级特性
消息压缩 · 日志清理策略 · 副本机制与ISR · 控制器选举
高级存储
07
Kafka监控与运维
JMX指标 · Kafka Eagle · Lag监控 · 常见故障排查
监控运维
08
Flink核心概念
有状态流处理 · DataStream API · 时间语义 · 水位线
Flink基础
09
Flink部署模式
Session模式 · Per-Job模式 · Application模式 · YARN/K8s集成
部署集群
10
Flink DataStream API
Source · Transformation · Sink · UDF函数
API开发
11
Flink时间语义与水位线
EventTime · ProcessingTime · IngestionTime · Watermark生成与传播
时间水位线
12
Flink窗口操作
滚动窗口 · 滑动窗口 · 会话窗口 · 窗口函数与触发器
窗口聚合
13
Flink状态管理
Keyed State · Operator State · 状态后端 · Checkpoint与Savepoint
状态容错
14
Flink容错机制
Exactly-Once语义 · 端到端一致性 · 两阶段提交协议
一致性事务
15
Flink Table & SQL
动态表 · 流式SQL · CDC连接器 · 维表关联
SQL分析
16
Kafka与Flink集成基础
FlinkKafkaConsumer · FlinkKafkaProducer · 反序列化器
集成连接器
17
Kafka与Flink集成进阶
动态Topic发现 · 自定义分区分配 · Offset提交策略
高级调优
18
金融数据模型设计
订单流 · 行情流 · 账户变更流 · 事件时间与业务时间
建模金融
19
实时风控系统
规则引擎集成 · 滑动窗口计数 · 异常检测模式
风控实时
20
实时交易监控
订单状态跟踪 · 成交延迟计算 · 交易量聚合
交易监控
21
实时行情处理
Level2行情解析 · 盘口快照合成 · K线计算
行情高频
22
实时指标计算
PV/UV · GMV · 用户留存 · 漏斗分析
指标分析
23
多流Join与关联
Interval Join · Temporal Join · Regular Join · 维表HBase/Redis
Join关联
24
状态后端选型与调优
RocksDB配置 · 增量Checkpoint · 大状态优化
状态后端调优
25
反压机制与调优
反压原理 · WebUI监控 · 背压采样 · 算子链优化
反压性能
26
生产环境最佳实践
并行度设置 · 资源分配 · 日志规范 · 监控告警
生产运维
27
数据一致性保障
幂等写入 · 事务输出 · Kafka Exactly-Once语义实现
一致性事务
28
金融合规与审计
数据血缘追踪 · 回滚机制 · 审计日志设计
合规审计
29
项目实战一：实时风控告警系统
规则配置 · 事件匹配 · 告警输出
实战风控
30
项目实战二：实时大屏与报表系统
Kafka → Flink → ClickHouse → 大屏
实战大屏