01
期货套利基础
套利概念、价差原理、跨期套利与跨品种套利简介
价差跨期
02
数据源获取
Tushare/JoinQuant等API接入、CSV批量读取、Excel导入
APICSV
03
数据结构概览
DataFrame基础、时间序列索引、多合约数据合并
Pandas索引
04
缺失值处理
识别缺失值、向前填充、向后填充、插值法处理
填充插值
05
异常值检测
3σ原则、箱线图法、IQR规则、Z-score方法
统计箱线图
06
价格数据对齐
不同合约交易时间对齐、夜盘拼接、非交易时段剔除
时间对齐夜盘
07
主力合约映射
主力合约识别、换月规则、连续合约构建
换月连续合约
08
价差计算
跨期价差、跨品种价差、价差标准化处理
价差标准化
09
滚动窗口统计
滚动均值、滚动标准差、滚动相关系数
滚动相关系数
10
协整检验
ADF检验、Engle-Granger两步法、协整关系判定
协整ADF
11
数据标准化
Z-score标准化、Min-Max缩放、稳健标准化
归一化稳健
12
去趋势处理
差分法、对数收益率、HP滤波
差分HP滤波
13
时间特征工程
交易日历、节假日标记、交割日特征
日历交割日
14
波动率计算
历史波动率、已实现波动率、波动率锥
波动率锥
15
相关性矩阵
Pearson相关系数、Spearman秩相关、滚动相关性
相关系数秩相关
16
数据切片与筛选
条件筛选、时间切片、合约筛选
切片筛选
17
重采样技术
降采样(日线转周线)、升采样(分钟转秒)、聚合函数
重采样聚合
18
数据持久化
Parquet格式存储、HDF5存储、数据库写入
ParquetHDF5
19
内存优化
数据类型转换、分块读取、稀疏矩阵处理
内存稀疏
20
多线程数据获取
concurrent.futures并行下载、异步IO处理
多线程异步
21
数据质量检查
完整性检查、一致性检查、合理性检查
质量一致性
22
回测数据准备
前向无偏处理、生存偏差校正、幸存者偏差处理
回测偏差
23
因子数据构建
动量因子、期限结构因子、基差因子
因子基差
24
数据标签生成
未来收益率、价差回归信号、阈值触发标签
标签信号
25
数据分割
时间序列交叉验证、滚动窗口分割、留出法
交叉验证滚动
26
数据管道构建
pipeline设计、缓存机制、增量更新
管道缓存
27
可视化诊断
价差走势图、分布直方图、QQ图、自相关图
可视化QQ图
28
数据版本控制
DVC工具使用、数据快照、回滚机制
DVC版本
29
自动化清洗脚本
定时任务、监控告警、日志记录
自动化日志
30
综合实战案例
从原始数据到可交易价差的全流程清洗
实战全流程