实时风险指标计算与监控系统实战
📚 共计 30 章节
01
风险指标概述
什么是实时风险指标、为什么需要实时监控、常见风险指标分类（市场风险、信用风险、操作风险）、实时计算与离线计算的区别。
市场风险
信用风险
操作风险
02
系统架构设计
Lambda架构与Kappa架构对比、实时计算引擎选型（Flink vs Spark Streaming）、消息队列选型（Kafka vs Pulsar）、数据存储选型（ClickHouse vs Druid）。
Lambda
Kappa
Flink
Kafka
03
开发环境搭建
Python虚拟环境配置、Docker Compose搭建Kafka集群、Flink本地开发环境配置、Prometheus + Grafana监控栈搭建。
Docker
Kafka
Flink
Grafana
04
数据源接入
Kafka Producer API实战、模拟交易数据生成器、JSON/AVRO序列化方案、数据Schema Registry集成。
Producer
Avro
Schema Registry
05
Flink基础概念
DataStream API核心概念、Source/Transformation/Sink三要素、时间语义（Event Time vs Processing Time）、Watermark机制详解。
DataStream
Watermark
Event Time
06
Flink窗口计算
Tumbling Window、Sliding Window、Session Window、Count Window实战、窗口性能调优。
Tumbling
Sliding
Session
Count
07
风险指标计算-均值类
移动平均线（MA）、指数加权移动平均（EWMA）、实现波动率计算、代码实战与性能对比。
MA
EWMA
波动率
08
风险指标计算-极值类
滚动最大值/最小值、VaR（Value at Risk）历史模拟法、最大回撤计算、压力测试场景模拟。
VaR
最大回撤
压力测试
09
风险指标计算-相关性类
皮尔逊相关系数滚动计算、协方差矩阵更新、Beta系数计算、投资组合风险分解。
相关系数
Beta
协方差
10
状态管理与容错
Flink Keyed State与Operator State、Checkpoint机制原理、Savepoint与状态迁移、Exactly-Once语义保证。
Checkpoint
Savepoint
Exactly-Once
11
CEP复杂事件处理
Flink CEP库入门、事件模式定义（Pattern API）、风险事件序列检测（如：连续下跌预警）、超时与阈值组合检测。
CEP
Pattern API
连续下跌
12
实时规则引擎
规则定义DSL设计、规则编译与执行、动态规则热加载、规则冲突检测与优先级管理。
DSL
热加载
优先级
13
指标存储与查询
ClickHouse表引擎选择（MergeTree vs ReplacingMergeTree）、物化视图加速查询、TTL数据生命周期管理、SQL查询优化技巧。
ClickHouse
物化视图
TTL
14
实时数据可视化
Grafana数据源配置、实时仪表盘设计原则、告警规则配置（Alerting）、异常事件时间线展示。
Grafana
仪表盘
告警
15
告警通知系统
告警级别定义（P0-P3）、多渠道通知集成（邮件/钉钉/短信）、告警静默与聚合、告警风暴防护策略。
P0-P3
钉钉
告警风暴
16
性能监控与调优
Flink反压监控、Checkpoint耗时分析、内存管理与GC调优、并行度与资源分配最佳实践。
反压
Checkpoint
GC
17
数据质量监控
数据延迟监控、数据完整性校验、异常值检测与清洗、数据质量SLA定义与告警。
数据延迟
完整性
SLA
18
多数据源融合
实时流与维表Join（Flink Async I/O）、多流Union与Connect、历史数据回填与修正、数据一致性保证。
Async I/O
维表Join
数据一致性
19
单元测试与集成测试
Flink测试框架（TestHarness）、模拟数据源测试、状态一致性验证、端到端集成测试流水线。
TestHarness
集成测试
状态一致性
20
灰度发布与回滚
任务版本管理、灰度发布策略（Canary）、A/B测试框架、快速回滚机制与数据补偿。
Canary
A/B测试
回滚
21
安全与权限控制
数据脱敏策略、访问控制列表（ACL）、审计日志记录、加密传输与存储。
脱敏
ACL
审计日志
22
资源管理与弹性伸缩
YARN/K8s资源调度、TaskManager动态扩缩容、Slot管理策略、资源配额与优先级。
K8s
扩缩容
Slot
23
监控大盘建设
业务指标监控（TPS/延迟）、系统指标监控（CPU/内存/网络）、自定义Metrics上报、Grafana Dashboard模板设计。
TPS
Dashboard
Metrics
24
故障排查与恢复
常见故障模式（OOM/数据倾斜/连接超时）、日志分析技巧、火焰图与堆转储分析、故障演练与应急预案。
OOM
数据倾斜
火焰图
25
实时数仓集成
实时ETL管道设计、DWD/DWS/DIM分层建模、实时宽表拼接、OLAP引擎（Doris/StarRocks）集成。
ETL
DWD
Doris
StarRocks
26
机器学习模型实时推理
Flink ML Pipeline、ONNX模型部署、特征工程在线化、模型版本管理与回滚。
ML Pipeline
ONNX
特征工程
27
跨机房容灾
异地多活架构设计、数据复制与同步（MirrorMaker）、故障切换与流量调度、RPO/RTO指标保障。
异地多活
MirrorMaker
RPO
RTO
28
成本优化
资源利用率分析、Spot实例使用策略、数据压缩与存储优化、计算资源弹性伸缩策略。
Spot实例
压缩
弹性伸缩
29
合规与审计
监管报表自动生成、数据血缘追踪、审计日志不可篡改存储、合规检查自动化。
数据血缘
审计日志
合规
30
项目实战：从零搭建实时风控平台
需求分析与技术选型、核心功能模块开发、压测与上线部署、运维保障体系建设。
实战
风控平台
压测