订单簿数据清洗与实战预处理

📚 共计 30 章节
01
订单簿基础认知
什么是订单簿?限价单与市价单的区别,买卖盘口与价差。
概念盘口
02
数据源与采集
常见交易所API(Binance、Coinbase),WebSocket实时流与REST快照。
APIWebSocket
03
数据结构解析
Level 1、Level 2、Level 3数据深度,JSON与Protobuf格式。
深度序列化
04
时间戳处理
UTC时间与本地时间转换,毫秒/微秒精度对齐,时区陷阱。
时区精度
05
价格精度与归一化
浮点数陷阱,Decimal模块使用,价格档位标准化。
Decimal标准化
06
数量与金额计算
成交量、成交额、加权平均价格,大单识别。
VWAP大单
07
缺失值处理
快照缺失、深度空洞、数据断流,插值与填充策略。
插值填充
08
异常值检测
价格跳变、负价格、零数量,基于统计与规则的过滤。
异常过滤
09
重复数据去重
重复快照、重复增量更新,基于时间戳与序列号的去重。
去重序列号
10
数据对齐
多交易所时间对齐,买卖盘口对齐,跨品种对齐。
对齐跨所
11
增量更新与快照合并
Event ID与Sequence Number,增量合并算法。
增量合并
12
订单簿重建
从零重建订单簿,增量回放,一致性校验。
重建回放
13
买卖盘口特征提取
买一卖一价、买卖盘口深度、价差、订单簿斜率。
特征斜率
14
流动性指标计算
市场深度、订单簿不平衡、流动性比率。
流动性深度
15
价格发现指标
中间价、VWAP、TWAP,订单簿压力指标。
VWAPTWAP
16
高频数据降采样
Tick数据转秒级/分钟级K线,OHLCV生成。
K线降采样
17
数据存储方案
Parquet、HDF5、CSV,列式存储与压缩。
ParquetHDF5
18
数据质量评估
完整性、准确性、一致性、及时性,质量报告生成。
质量报告
19
回测数据准备
避免未来信息,数据切分,训练集/验证集/测试集。
回测切分
20
特征工程基础
滞后特征、滚动统计、差分特征,标准化与归一化。
特征工程滚动
21
订单簿可视化
深度图、热力图、动态K线,Matplotlib与Plotly。
可视化Plotly
22
实战案例一
清洗Binance BTC/USDT订单簿数据,构建分钟级特征。
实战BTC
23
实战案例二
多交易所订单簿合并,计算套利价差。
套利合并
24
实战案例三
基于订单簿不平衡的短期价格预测特征。
不平衡预测
25
实战案例四
高频数据回测,模拟限价单与市价单成交。
回测模拟
26
性能优化
向量化操作、Numba加速、多线程处理。
Numba多线程
27
错误处理与日志
异常捕获、日志记录、断点续传。
日志断点续传
28
自动化流水线
Airflow调度,定时采集、清洗、存储。
Airflow调度
29
数据版本控制
DVC与Git LFS,数据回滚与复现。
DVCGit LFS
30
总结与展望
订单簿数据清洗最佳实践,未来趋势(T+0、DeFi订单簿)。
趋势DeFi