01
金融流计算概述
什么是流计算、金融场景需求、主流框架对比 (Flink vs Spark Streaming vs Kafka Streams)
流计算框架对比
02
全链路监控体系设计
监控维度(延迟/吞吐/准确性/资源)、分层架构、数据采集原理
监控分层采集原理
03
延迟监控与优化
端到端延迟拆解、算子延迟、反压机制、Flink反压调优实战
反压延迟拆解
04
吞吐量监控与优化
吞吐瓶颈定位、并行度调优、数据倾斜、背压与流量控制
吞吐量数据倾斜
05
数据准确性监控
Exactly-Once语义、数据去重、端到端一致性、回放与修复
一致性去重
06
资源利用率监控
CPU/内存/网络/磁盘、动态扩缩容、YARN/K8s、Flink资源模型
资源K8s
07
Checkpoint与状态监控
Checkpoint机制、失败监控、状态大小、状态后端选型调优
状态后端CP
08
日志与链路追踪
分布式日志(ELK/EFK)、链路追踪(Jaeger/Zipkin)、业务埋点规范
ELKJaeger
09
告警体系设计
告警分级、规则配置、静默聚合、通知渠道(钉钉/企微/短信)
告警通知
10
监控可视化
Grafana仪表盘、实时大屏、指标聚合与下钻分析
Grafana大屏
11
Kafka监控与调优
集群监控(ISR/Lag/吞吐)、生产者/消费者调优、分区分配策略
KafkaLag
12
Flink SQL监控
SQL作业指标、动态表与连续查询、状态管理/维表Join优化
Flink SQL维表Join
13
窗口计算监控
窗口类型选择、延迟与乱序处理、Watermark监控调优
窗口Watermark
14
多流Join监控
双流Join原理、延迟监控、状态清理、异步IO优化
Join异步IO
15
复杂事件处理(CEP)监控
模式匹配监控、超时阈值管理、CEP性能调优
CEP模式匹配
16
数据湖与流批一体监控
流批一体架构、Hudi/Iceberg写入监控、一致性检查
数据湖Hudi
17
实时数仓监控
分层架构(ODS/DWD/DWS/ADS)、数据延迟、数据质量监控
实时数仓质量
18
机器学习模型监控
在线推理监控、特征延迟、模型漂移检测、A/B实验
ML漂移检测
19
混沌工程与故障演练
混沌工程原则、Flink故障注入、监控韧性测试
混沌故障注入
20
容量规划与压测
流量预估、JMeter/Locust压测、指标分析、容量策略
压测容量
21
成本优化监控
资源成本分析、Spot实例、作业配比、冷热数据分离
成本Spot
22
多机房/异地多活监控
跨机房延迟、数据一致性、异地容灾切换、全局时钟同步
多活容灾
23
安全监控与审计
数据脱敏、访问控制审计、异常登录检测、SQL注入防护
安全审计
24
全链路压测
压测数据构造、影子表与流量复制、指标采集、报告生成
全链路压测影子表
25
智能运维(AIOps)
异常检测算法、根因分析、趋势预测、自动化修复
AIOps根因分析
26
Flink CDC监控
CDC同步延迟、Binlog解析性能、Schema变更、数据一致性校验
CDCBinlog
27
实时数据质量监控
完整性检查、时效性监控、分布异常检测、质量SLA管理
数据质量SLA
28
监控系统高可用设计
自身高可用、采集高可用、告警通道高可用、数据持久化
高可用持久化
29
金融合规与监管监控
监管报表实时生成、交易审计追踪、合规规则引擎、数据留存
合规监管
30
综合案例实战
券商实时风控全链路监控方案、从0到1搭建监控体系、调优复盘
实战风控