01
行情数据源探秘
认识交易所API、WebSocket协议与REST接口的差异。
数据源协议
02
环境搭建
安装Python、Kafka、Zookeeper，配置开发环境。
基础Kafka
03
生产者实战
用Python连接交易所WebSocket，抓取实时Tick数据。
WebSocketPython
04
Kafka核心概念
Topic、Partition、Consumer Group，以及数据持久化机制。
Kafka架构
05
消费者实战
编写Python消费者，从Kafka拉取行情数据并解析。
消费者Python
06
数据清洗
处理乱码、空值、异常Tick，统一时间戳格式。
清洗ETL
07
流处理框架选型
Flink vs Spark Streaming vs Kafka Streams，我为什么选Flink。
选型Flink
08
Flink入门
安装Flink，运行第一个WordCount，理解DataStream API。
Flink入门
09
窗口计算
滚动窗口、滑动窗口、会话窗口，计算分钟级K线。
窗口K线
10
状态管理
ValueState、ListState，实现防重复数据去重。
状态去重
11
水位线
Watermark机制，解决乱序数据问题。
水位线乱序
12
连接器
Flink Kafka Connector，实现端到端的Exactly-Once语义。
连接器Exactly-Once
13
实时聚合
计算实时涨跌幅、成交量异动、价格突破。
聚合指标
14
CEP复杂事件处理
识别“三连阳”、“闪崩”等行情模式。
CEP模式
15
Redis缓存
用Redis存储实时行情快照，加速查询。
Redis缓存
16
ClickHouse入门
安装ClickHouse，理解列式存储优势。
ClickHouse列式
17
实时写入ClickHouse
Flink JDBC Sink，批量写入优化。
写入JDBC
18
数据可视化
Grafana连接ClickHouse，绘制实时K线图。
Grafana可视化
19
监控告警
Prometheus + Alertmanager，监控流处理延迟。
监控告警
20
日志收集
ELK Stack收集Flink任务日志，排查问题。
ELK日志
21
性能调优
Kafka分区数、Flink并行度、内存配置最佳实践。
调优性能
22
容错机制
Checkpoint与Savepoint，实现任务故障恢复。
容错Checkpoint
23
压力测试
模拟百万级TPS行情，验证系统吞吐量。
压测TPS
24
数据回放
基于Kafka的Offset回溯，复盘历史行情。
回放Offset
25
多数据源融合
接入美股、港股、加密货币，统一格式。
多源融合
26
数据湖集成
将原始行情写入Iceberg/Hudi，用于离线分析。
数据湖Iceberg
27
安全加固
Kafka SSL加密、Flink认证授权、数据脱敏。
安全SSL
28
容器化部署
Docker Compose编排Kafka、Flink、ClickHouse集群。
Docker编排
29
Kubernetes部署
使用Helm Chart在K8s上部署Flink作业。
K8sHelm
30
项目实战
从0到1搭建一个完整的实时行情流处理平台。
实战全流程