实时风控数据流处理技术解析

📚 共计 30 章节
01
风控概述
什么是实时风控?为什么需要实时风控?典型应用场景:支付、信贷、交易。
入门场景
02
数据流基础
数据流概念、与批处理的区别、核心挑战:乱序、延迟、容错。
核心流式
03
流处理引擎选型
Flink、Spark Streaming、Kafka Streams 对比与选型依据。
选型对比
04
Flink 核心概念
DataStream API、时间语义、Watermark 机制。
Flink时间
05
Flink 状态管理
Keyed State、Operator State、状态后端、一致性。
状态RocksDB
06
Flink 容错机制
Checkpoint、Savepoint、Exactly-Once 语义实现。
容错一致性
07
Kafka 作为数据管道
架构、Topic/Partition、Producer/Consumer、可靠性保证。
消息管道
08
Kafka Streams 入门
KStream、KTable、GlobalKTable、状态存储与交互查询。
Kafka流式
09
实时特征工程
滑动/计数/Session窗口、特征聚合与存储。
特征窗口
10
规则引擎
Drools 规则匹配、热部署、冲突检测。
规则Drools
11
复杂事件处理 (CEP)
Flink CEP、Pattern API、序列匹配与超时。
CEP模式
12
ML 模型实时推理
PMML/ONNX 导出、Flink 集成 TensorFlow/PyTorch、版本管理。
ML推理
13
风控决策树
决策树应用、实时推理、特征重要性分析。
决策树风控
14
实时评分卡
评分卡原理、WOE编码、实时信用评分计算。
评分WOE
15
图计算在风控中应用
团伙欺诈检测、Flink Gelly、社区发现算法。
图计算团伙
16
实时数据仓库
Kappa vs Lambda、实时数仓分层、对接 ClickHouse/Doris。
数仓OLAP
17
数据质量监控
实时质量校验、异常检测、数据血缘追踪。
质量血缘
18
风控指标计算
实时PV/UV、转化率、通过率、拒绝率、响应时间监控。
指标监控
19
实时特征存储
Redis 特征存储、过期策略、高并发读写优化。
Redis特征
20
风控策略编排
策略流程引擎、版本管理、A/B测试与灰度发布。
策略编排
21
实时黑名单
Redis/Bloom Filter 存储、实时匹配、动态更新。
黑名单Bloom
22
设备指纹
设备指纹采集、生成算法、设备关联分析。
设备指纹
23
行为序列分析
用户行为序列建模、序列模式挖掘、异常检测。
序列行为
24
实时告警系统
告警规则、分级、降噪与聚合。
告警实时
25
风控 Dashboard
实时可视化、关键指标大屏、监控告警看板。
可视化大屏
26
性能优化
Flink 作业调优、Kafka 参数、内存与 GC 优化。
调优性能
27
全链路压测
压测方案、流量模拟、瓶颈分析与容量规划。
压测容量
28
灾备与高可用
多机房部署、主备切换、数据一致性保障。
灾备高可用
29
安全与合规
数据脱敏、加密传输、审计日志、GDPR 合规。
安全合规
30
案例实战
支付平台实时风控系统架构设计与实现(需求到上线)。
实战架构