01
金融数据湖概述
数据湖定义与演进 · 金融数据特征 · 数据湖 vs 数仓 · Lambda/Kappa架构
架构基础
02
实时计算基础
流处理概念 · 事件/处理时间 · Watermark · Exactly-Once语义
流处理核心
03
Apache Kafka深度实践
架构与核心概念 · 分区副本 · 生产者/消费者API · Connect & Schema Registry
消息队列Kafka
04
Apache Flink核心原理
架构与运行模式 · DataStream API · 窗口操作 · 状态管理与Checkpoint
Flink状态
05
数据湖存储选型
Iceberg原理 · Delta Lake对比 · Hudi核心 · 湖仓一体策略
存储选型
06
实时数据摄取
CDC技术(Debezium) · Kafka Connect实时同步 · Flink CDC · 全量+增量一体化
CDC摄取
07
流批一体ETL
Flink SQL实时ETL · 动态表与连续查询 · 维表关联(Async I/O) · 数据质量监控
ETL流批
08
实时数仓分层
ODS/DWD/DWS/ADS · 实时维度建模 · 宽表构建 · 实时指标计算
数仓分层
09
数据湖写入优化
Flink写入Iceberg调优 · 小文件合并 · Compaction · 分区策略与布局
性能Iceberg
10
实时OLAP引擎
ClickHouse MergeTree · Doris/StarRocks · 实时物化视图 · 查询调优
OLAP分析
11
实时特征工程
在线特征计算 · 特征存储(Feast/Redis) · 实时特征回溯 · 一致性保障
特征ML
12
实时机器学习
在线推理架构 · 模型服务(Seldon/KServe) · 特征平台联动 · 实时监控
推理MLOps
13
实时数据治理
元数据管理(Atlas/DataHub) · 数据血缘 · 质量规则 · 生命周期管理
治理元数据
14
实时监控与告警
Flink Metrics · Prometheus+Grafana · 自定义告警 · 作业稳定性
监控SRE
15
金融风控场景
实时反欺诈 · 交易异常检测 · 规则引擎(Drools/Flink CEP) · 推理延迟优化
风控金融
16
实时营销场景
用户实时画像 · 实时推荐 · AB实验平台 · 实时效果归因
营销推荐
17
实时交易场景
高频交易数据处理 · 订单簿聚合 · 市场数据广播 · 延迟敏感架构
交易低延迟
18
实时合规场景
监管报送实时化 · 反洗钱监控 · 交易行为分析 · 审计轨迹
合规监管
19
数据湖安全
数据加密(静态/传输) · RBAC/ABAC · 审计日志 · 隐私计算
安全隐私
20
实时数据服务
API网关(Kong/APISIX) · 实时数据订阅 · GraphQL · SLA与限流
API网关
21
混合云部署
Kubernetes容器化 · Flink on K8s · 存储计算分离 · 跨云同步
云原生K8s
22
性能基准测试
数据量级评估 · 延迟与吞吐测试 · 成本模型 · 选型决策矩阵
性能基准
23
灾难恢复
异地多活架构 · 数据备份恢复 · 容灾演练 · RTO/RPO保障
容灾高可用
24
成本优化
存储分层(热/温/冷) · 计算弹性伸缩 · Spot实例 · 数据压缩编码
成本优化
25
数据湖演进
批处理到实时 · Lambda到Kappa · 湖仓一体 · Data Mesh/Fabric趋势
演进趋势
26
实时数据湖案例
券商实时风控 · 银行实时营销 · 支付公司交易监控
案例实战
27
Flink SQL进阶
CEP · 动态表与Temporal Join · Top-N去重 · 自定义UDF/UDTF
Flink SQL高级
28
数据湖格式深入
Iceberg Table Format · ACID事务 · Time Travel · Schema Evolution
Iceberg格式
29
实时数据管道编排
Airflow/Dagster调度 · 管道监控 · 失败重试 · 数据回溯
编排调度
30
综合实战项目
从零搭建实时数据湖平台 · 采集/ETL/OLAP/机器学习全链路
实战全栈