01
期权高频数据全景图
Tick级数据 · Level2行情 · 快照数据 · 数据源评估
数据源行情
02
数据清洗环境搭建
Python · Pandas/NumPy · Numba/Dask
环境高性能
03
数据读取与初步探索
CSV/Parquet · DataFrame · 缺失值概览
读取探索
04
时间序列索引处理
DatetimeIndex · 时区 · 重采样 · 频率对齐
时间索引
05
缺失值处理策略
向前/向后填充 · 线性插值 · 波动率智能填充
缺失值插值
06
异常值检测与处理
Z-Score · IQR · 滚动窗口 · 孤立森林
异常检测
07
数据去重与对齐
精确/模糊去重 · 时间戳对齐 · 快照对齐
去重对齐
08
价格数据清洗
涨跌停 · 零价格 · 跳变 · 平滑滤波
价格滤波
09
成交量数据清洗
零成交量 · 异常大单 · 加权 · 归一化
成交量清洗
10
买卖盘口数据清洗
价差 · 深度异常 · 价格倒挂 · 平滑
盘口L2
11
隐含波动率计算与清洗
BSM · Newton-Raphson · IV异常值 · 曲面
IV波动率
12
希腊字母计算与清洗
Delta/Gamma/Vega · 边界检查 · 平滑
希腊字母风控
13
期权合约信息处理
合约代码解析 · 行权日 · 类型识别
合约元数据
14
数据合并与拼接
多合约合并 · 跨品种 · 内外盘融合
合并拼接
15
特征工程基础
滚动统计 · 技术指标 · 波动率/流动性特征
特征因子
16
数据标准化与归一化
Z-Score · Min-Max · Robust · 自适应归一化
标准化归一化
17
数据降采样与聚合
Tick→分钟 · OHLCV · VWAP
降采样聚合
18
数据切片与窗口操作
滚动/扩展/指数加权窗口 · 自定义函数
窗口滑动
19
内存优化与数据压缩
数据类型优化 · Parquet · 分块处理
内存压缩
20
并行计算加速
多进程 · Dask · Numba JIT · GPU
并行加速
21
数据质量监控体系
质量评分 · 延迟监控 · 完整性 · 告警
监控质量
22
数据存储方案
HDF5 · Parquet · InfluxDB · ClickHouse
存储时序库
23
数据回放系统
Tick/快照回放 · 速度控制 · 策略交互
回放仿真
24
数据版本管理
快照版本 · 增量更新 · 回滚 · 血缘追踪
版本管理
25
实盘数据接入
CTP · WebSocket · 缓冲队列 · 落盘
实盘接入
26
数据安全与合规
脱敏 · 权限 · 加密 · 审计日志
安全合规
27
数据清洗Pipeline构建
Pipeline设计 · 任务编排 · 重试 · 监控
Pipeline工程
28
数据质量报告生成
质量指标 · 可视化 · 自动推送 · 趋势
报告可视化
29
实战案例一：50ETF期权
50ETF高频数据清洗全流程
实战50ETF
30
实战案例二：商品期权
商品期权做市数据清洗与特征提取
实战商品