商品期货高频数据清洗与特征工程实战

📚 共计 30 章节

高频数据基础

Tick数据与Bar数据的区别 · Level2行情 · 常见交易所数据格式

数据采集与存储

API接口对接(CTP/易盛) · Parquet/Arrow · 压缩策略

数据清洗实战

缺失值处理 · 异常值检测(Z-score/IQR) · 时间戳对齐与重采样

清洗预处理

特征工程入门

均值/方差/偏度/峰度 · 滚动窗口 · 时间衰减权重

微观结构特征

买卖价差 · 订单簿不平衡 · VWAP · 实现波动率

微观订单簿

时序特征构建

滞后特征 · 差分 · SMA/EMA · 布林带

时序技术指标

价格跳跃检测 · 成交量分布 · 微观结构噪声估计

跳跃Volume Profile

特征选择与降维

相关性分析 · PCA · 特征重要性(树模型)

数据标准化与归一化

Z-score · Min-Max · RobustScaler

时间序列交叉验证

滚动窗口 · 扩展窗口 · 避免未来信息泄露

未来N周期收益率 · 波动率分类 · 趋势方向判断

数据管道构建

Pandas ETL · Dask大规模数据 · Ray分布式计算

管道分布式

高频数据可视化

K线图 · 成交量分布 · 订单簿深度 · 自相关图

可视化探索

实战案例1：螺纹钢

Tick数据清洗与特征提取

螺纹钢实战

实战案例2：原油期货

分钟级数据特征工程与标签构建

原油分钟级

实战案例3：股指期货

订单簿数据特征提取与建模

股指订单簿

实战案例4：跨品种套利

数据准备与特征工程

套利跨品种

实战案例5：回测框架

高频数据回测框架搭建与特征验证

数据质量监控

实时质量评分 · 数据漂移检测 · 完整性校验

特征存储与管理

特征库设计(Feast/自定义) · 版本控制 · 回溯

GPU加速数据处理

cuDF · Numba加速 · 并行化特征工程

高频数据采样策略

Tick降采样 · 事件驱动 · 成交量驱动采样

微观结构特征进阶

VPIN · 订单流不平衡 · 市场深度特征

非线性特征

多项式特征 · 交互特征 · 核方法特征映射

非线性交互

文本特征融合

新闻情感分析 · 宏观经济指标 · 事件驱动特征

特征工程自动化

Featuretools · 自动特征生成 · 选择自动化

自动化AutoML

数据安全与合规

数据脱敏 · 合规存储 · 访问控制策略

大规模数据处理实战

Spark处理TB级高频数据 · 数据分区策略

模型可解释性

SHAP值分析 · 特征重要性可视化 · 部分依赖图

课程总结与展望

最佳实践 · 未来趋势(深度学习/强化学习特征)