01
流计算基础与金融场景概述
实时流计算概念、金融场景特点(低延迟、高可用、数据一致性)、常见故障类型概览。
概念金融特性
02
Flink核心原理与架构
Flink架构、数据流图、时间语义、状态管理、Checkpoint机制。
架构状态Checkpoint
03
数据源故障排查
Kafka消费者组问题、数据倾斜、背压问题、数据丢失与重复。
Kafka背压数据一致性
04
作业稳定性与性能调优
内存溢出、GC问题、算子链优化、并行度设置、资源分配。
性能GC算子链
05
状态管理与一致性故障
状态后端选择、状态膨胀、快照失败、Exactly-Once语义保证。
状态后端快照Exactly-Once
06
时间语义与窗口故障
事件时间与处理时间混乱、水位线设置不当、窗口触发异常、迟到数据处理。
水位线窗口迟到数据
07
金融风控场景实战
实时反欺诈规则引擎、交易异常检测、风控模型部署、延迟与准确性权衡。
反欺诈风控实时
08
交易对账与数据一致性
实时对账流程、数据源比对、延迟数据补偿、对账结果输出。
对账补偿一致性
09
实时指标计算与监控
实时PV/UV、交易量统计、复杂事件处理、监控告警系统集成。
指标监控CEP
10
运维与监控体系
Prometheus+Grafana监控、Flink Web UI分析、日志采集与分析、告警规则设置。
PrometheusGrafana告警
11
网络与通信故障
网络延迟、丢包、连接超时、RPC调用失败、序列化问题。
网络RPC序列化
12
数据序列化与反序列化故障
Avro/Protobuf/JSON格式问题、Schema兼容性、类型转换错误。
AvroProtobufSchema
13
连接器故障排查
Kafka Connector、JDBC Connector、HDFS Connector、Elasticsearch Connector。
连接器KafkaJDBC
14
SQL与Table API故障
动态表概念、维表Join、UDF故障、SQL优化。
SQL维表JoinUDF
15
CEP(复杂事件处理)故障
模式匹配超时、事件序列乱序、状态清理、CEP与Flink集成。
CEP模式匹配状态
16
多流Join与关联故障
双流Join、Interval Join、Temporal Join、数据倾斜导致Join失败。
双流JoinInterval倾斜
17
资源管理与调度故障
YARN/K8s资源不足、TaskManager挂掉、Slot分配问题、资源隔离。
YARNK8s资源
18
数据湖与流批一体故障
Iceberg/Hudi集成、流式写入、小文件问题、元数据一致性。
IcebergHudi流批一体
19
安全与权限故障
Kerberos认证、SSL/TLS配置、数据脱敏、访问控制。
KerberosSSL脱敏
20
版本升级与兼容性故障
Flink版本升级、依赖冲突、API变更、状态兼容性。
版本升级兼容性依赖
21
生产环境全链路压测
压测方案设计、数据模拟、瓶颈分析、容量规划。
压测容量瓶颈
22
故障演练与应急预案
混沌工程、故障注入、预案制定、复盘总结。
混沌工程演练预案
23
日志与链路追踪
分布式追踪(Jaeger/Zipkin)、日志聚合(ELK)、慢算子定位。
JaegerELK追踪
24
数据质量监控
数据完整性校验、延迟监控、异常值检测、数据血缘追踪。
数据质量血缘监控
25
金融合规与审计
数据保留策略、审计日志、合规检查、数据脱敏。
合规审计脱敏
26
机器学习模型在线推理
Flink ML Pipeline、模型加载、特征工程、模型更新。
ML推理Pipeline
27
实时数仓架构故障
分层设计问题、数据同步延迟、OLAP查询性能、数据一致性。
数仓OLAP分层
28
跨机房/异地多活故障
数据复制延迟、脑裂问题、流量切换、一致性协议。
多活脑裂复制
29
成本优化与资源治理
资源利用率分析、Spot实例使用、自动扩缩容、成本分摊。
成本Spot扩缩容
30
综合案例复盘
某金融公司实时风控系统故障全流程复盘、根因分析、改进措施。
复盘根因实战