01
订单簿基础
什么是订单簿?限价单与市价单的区别,买卖盘口结构。
盘口限价单
02
Level 1 vs Level 2 数据
Top-of-Book 与 Depth-of-Book 的区别,数据粒度意义。
深度粒度
03
订单簿事件驱动模型
订单到达、撤销、成交事件,事件流与状态更新。
事件状态机
04
订单簿快照与增量更新
全量快照(Snapshot)与增量更新(Incremental)对比及适用场景。
快照增量
05
订单簿重构原理
如何从增量事件流重建完整的订单簿状态机。
重构状态机
06
价格-时间优先原则
撮合引擎核心逻辑:价格优先与时间优先排序规则。
撮合排序
07
订单簿数据结构设计
红黑树、跳表、堆在订单簿中的应用及选择原因。
红黑树跳表
08
Python实现基础订单簿
使用字典和列表实现一个简单的订单簿。
Python实现
09
高性能订单簿实现
使用SortedContainers库优化买卖盘口排序与查找。
性能SortedContainers
10
订单簿重构实战
从交易所WebSocket增量数据流重建Level 2订单簿。
WebSocket实战
11
高频数据特征
Tick数据、毫秒级时间戳、数据爆炸与每秒数万笔订单挑战。
Tick高吞吐
12
数据压缩的必要性
存储成本、传输带宽、回测效率,为什么压缩是刚需。
成本带宽
13
无损压缩基础
Huffman编码、LZ77算法、Deflate在金融数据中的应用。
HuffmanDeflate
14
有损压缩策略
采样、聚合、近似表示,平衡精度与压缩比。
有损近似
15
时间戳压缩
增量编码、差分解码、时间戳对齐技术。
增量编码对齐
16
价格与数量压缩
定点数编码、对数压缩、相对差值编码。
定点数差值
17
订单簿快照压缩
使用Protobuf或Cap'n Proto进行二进制序列化。
Protobuf序列化
18
列式存储与Parquet
面向分析场景的高频数据存储格式,行存与列存对比。
Parquet列存
19
数据去重与增量存储
只存储变化的部分,大幅减少数据量。
去重增量
20
高频数据压缩实战
使用Python对原始Tick数据压缩,对比不同算法压缩比。
实战对比
21
实时压缩管道设计
从数据采集到压缩存储的流式处理架构。
流式管道
22
回放与解压缩
高效解压并重建订单簿用于策略回测。
回放解压
23
性能基准测试
压缩速度、解压速度、压缩比的权衡与最优方案选择。
基准权衡
24
内存中的订单簿压缩
使用位图、稀疏矩阵表示深度订单簿。
位图稀疏矩阵
25
分布式环境下的数据压缩
Kafka消息压缩、网络传输优化。
Kafka网络优化
26
数据质量与校验
校验和、一致性检查、异常检测,确保压缩不丢失关键信息。
校验一致性
27
案例研究:Binance
Binance订单簿数据压缩方案分析,每秒百万级事件压缩策略。
Binance百万级
28
案例研究:NASDAQ ITCH
纳斯达克ITCH协议数据解析与压缩,原生二进制格式优化。
ITCH二进制
29
开源工具与库
Python中的lz4、zstd、blosc库的使用与对比。
lz4zstdblosc
30
综合项目
构建完整订单簿重构与高频数据压缩系统,从数据源到回放。
全流程项目