Tick数据清洗与特征工程实战

📚 共计 30 章节
01
Tick数据概述
什么是Tick数据、Tick数据与分钟数据的区别、典型应用场景(高频交易、订单簿重建)
概念入门
02
Tick数据源与格式
常见数据源(交易所、第三方数据商)、CSV/Parquet格式、字段解析(Time, Price, Volume, Bid/Ask)
数据源格式
03
数据读取与初步探索
使用Pandas读取Tick数据、head/tail/info/describe、检查数据形状
Pandas探索
04
时间索引处理
将时间列转为DatetimeIndex、设置时区、排序、处理非交易时间数据
时间序列索引
05
缺失值处理
识别缺失值、前向填充/后向填充、插值法、删除策略
清洗缺失值
06
异常值检测与处理
基于价格/成交量的统计方法(Z-score, IQR)、基于规则的方法(价格跳变、零成交)
异常检测统计
07
重复数据处理
识别完全重复行、基于时间戳去重、保留最后一条记录
去重数据质量
08
数据对齐与重采样
将Tick数据重采样为1秒/1分钟K线、OHLC计算、成交量聚合
重采样K线
09
订单簿数据清洗
Bid/Ask价格排序、价差计算、清除错误报价(负价差、价格倒挂)
订单簿价差
10
交易量清洗
清除零成交量记录、大额交易标记、成交量异常值处理
成交量清洗
11
数据标准化与归一化
价格标准化(Z-score)、成交量归一化(Min-Max)、适用于不同品种的比较
标准化归一化
12
时间特征工程
提取小时、分钟、星期几、月份、是否开盘/收盘时段
时间特征日历
13
价格衍生特征
收益率(log return)、价格差分、移动平均线(SMA/EMA)、布林带
价格技术指标
14
成交量衍生特征
成交量变化率、成交量加权平均价(VWAP)、成交量分布
成交量VWAP
15
波动率特征
历史波动率、已实现波动率、基于Tick数据的波动率估计(Parkinson, Garman-Klass)
波动率估计
16
微观结构特征
买卖价差(Bid-Ask Spread)、订单簿深度、交易量不平衡
微观结构流动性
17
订单流特征
Tick方向(上涨/下跌)、Tick成交量、订单流不平衡(Order Flow Imbalance)
订单流不平衡
18
时间序列滞后特征
创建滞后1/2/3步的价格、收益率、成交量特征
滞后自相关
19
滚动窗口统计特征
滚动均值、滚动标准差、滚动最大值/最小值、滚动相关系数
滚动窗口统计
20
分类特征编码
对股票代码、交易所、市场状态进行One-Hot编码或Label Encoding
编码分类
21
特征选择基础
相关性分析、方差阈值、基于模型的特征重要性(随机森林)
特征选择重要性
22
特征降维
主成分分析(PCA)在Tick特征上的应用、t-SNE可视化
降维PCA
23
数据分割
时间序列交叉验证、避免未来信息泄露、训练/验证/测试集划分
交叉验证时间序列
24
数据管道构建
使用Scikit-learn Pipeline整合清洗、特征工程、模型训练
PipelineSklearn
25
大规模Tick数据处理
使用Dask或Modin处理超大数据集、分块读取与处理
Dask大数据
26
实时数据流处理
使用Kafka/Redis Streams处理实时Tick数据、滑动窗口特征计算
流处理Kafka
27
特征存储与管理
使用Feast或Hopsworks进行特征存储、特征版本控制
特征存储Feast
28
案例实战1:瞬时价格跳变检测
基于Tick数据的瞬时价格跳变检测与特征构建
实战跳变
29
案例实战2:订单簿重建与流动性
基于Tick数据的订单簿重建与流动性度量
实战订单簿
30
案例实战3:完整Pipeline
构建一个完整的Tick数据清洗与特征工程Pipeline(从原始数据到ML模型输入)
实战全流程