实时特征工程与数据处理实战
📚 30章 · 从入门到实战
⭐ 友好
1
实时计算概述
定义、应用场景(风控/推荐/监控) & 与离线批处理区别
2
实时数据源接入
Kafka核心概念 · Topic/Partition · 生产者消费者模型
3
Flink基础入门
Flink架构 · DataStream API · Maven/SBT环境搭建
4
Flink时间语义
Event Time / Processing Time / Ingestion Time 选择
5
Watermark机制
Watermark原理 · 设置与乱序数据处理
6
Flink窗口操作
Tumbling / Sliding / Session Window 实战
7
状态编程
Keyed State & Operator State · Value/List/MapState
8
Flink容错机制
Checkpoint/Savepoint · Exactly-Once语义
9
实时ETL
数据清洗 · 字段过滤 · 格式转换(JSON/CSV/Avro)
10
实时特征计算
滑动统计(计数/求和/均值) · 比率/差值特征
11
复杂事件处理(CEP)
Flink CEP库 · Pattern API · 匹配与超时处理
12
维表关联
实时流与MySQL/Redis/HBase · Async IO & 缓存策略
13
特征存储
Redis / HBase / Cassandra 对比与应用
14
实时特征平台架构
Lambda vs Kappa · 流批一体设计思路
15
Flink SQL实战
CREATE TABLE / SELECT / JOIN / GROUP BY 实时场景
16
UDF与自定义函数
Scalar / Table / Aggregate Function 开发
17
反压机制
Flink反压原理 · 监控定位 · 背压调优
18
内存管理
内存模型 · 堆外内存 · RocksDB状态后端调优
19
数据倾斜处理
KeyBy/窗口/Join倾斜解决方案
20
实时特征监控
Prometheus+Grafana · 自定义Metrics
21
Kafka Streams入门
DSL / Processor API · 与Flink对比
22
Spark Structured Streaming
微批处理 / Continuous Processing · 与Flink对比
23
实时特征工程最佳实践
特征回溯 · 校验 · 版本管理
24
AB测试中的实时特征
实时分流 · 实时指标 · 实验评估
25
实时特征在推荐系统中的应用
用户实时行为序列 · 召回与排序特征
26
实时特征在风控系统中的应用
设备指纹 · 行为序列 · 实时规则引擎
27
实时特征在监控运维中的应用
异常检测 · 根因分析 · 实时告警
28
实时数据湖
Iceberg/Delta Lake与实时流集成 · CDC入湖
29
实时特征工程工具链
Airflow调度 · CI/CD · Docker/K8s部署
30
综合实战项目
端到端实时风控特征系统 (接入→计算→存储→服务)