01
期权做市数据概览
数据来源·频率·字段解析·合约代码/时间戳/买卖价/成交量/持仓量/隐含波动率/希腊字母
Tick/分钟/日线交易所/第三方
02
数据采集与存储
API对接(FIX/REST) · 落地CSV/Parquet/数据库 · 压缩与归档策略
FIX协议REST APIParquet
03
数据质量初探
缺失值·异常值·重复值·时间戳错乱 · 完整性/准确性/一致性/时效性
质量评估诊断指标
04
时间戳处理
Unix/ISO 8601/交易所本地时间 · 时区转换(UTC/美东/北京) · 交易日历对齐
时区交易日历
05
缺失值处理
isnull检测 · 前向/后向填充/线性插值/模型预测 · 深度虚值/流动性枯竭场景
插值期权特有
06
异常值检测与处理
Z-score/IQR · DBSCAN/LOF · 买卖价差/成交量/隐含波动率跳变
统计方法业务规则
07
重复值处理
精确/近似重复 · 保留首条/末条/聚合去重 · 时间窗口内重复报价
去重策略时间窗口
08
数据对齐与重采样
多合约Tick/秒级对齐 · 等间隔/成交量加权 · OHLC计算
重采样OHLC
09
买卖价差计算
绝对/相对/有效/实现价差 · 宽窄交替/跳跃式变化模式
价差模式流动性
10
市场深度分析
Level 1/2/3 · 深度不平衡指标 · 深度衰减模型 · 大单识别
订单簿大单
11
隐含波动率曲面构建
BS/二叉树 · 波动率微笑/偏斜 · 线性/样条/SVI插值 · 平滑去噪
曲面SVI
12
希腊字母计算
Delta/Gamma/Theta/Vega/Rho · 解析/有限差分 · 曲面构建 · 时序稳定性
风险指标有限差分
13
期权链数据整合
不同到期/行权价合并 · 行权价/到期时间归一化 · 流动性分层
期权链标准化
14
现货与期货数据对齐
标的资产(ETF/指数/期货) · 时间对齐 · 基差计算 · 股息调整
基差股息
15
无风险利率数据
国债收益率/LIBOR/SOFR · 期限结构构建 · 插值方法 · 利率清洗
利率期限结构
16
股息与拆股调整
股息数据获取 · 拆股/并股影响 · 合约乘数/行权价调整 · 历史回溯
公司行动回溯调整
17
数据切片与抽样
时间切片(开盘/收盘) · 事件驱动(财报/宏观) · 分层/随机抽样 · 平衡处理
切片抽样
18
特征工程基础
收益率/波动率/成交量变化率 · 滚动统计量(均值/标准差/偏度/峰度) · RSI/MACD/布林带
技术指标滚动窗口
19
数据标准化与归一化
Z-score · Min-Max · Robust · 隐含波动率范围/希腊字母量级差异
标准化归一化
20
分类变量编码
One-Hot/Label Encoding · 到期日编码(距离天数/月份) · 行权价编码(价内/价外/平价)
编码虚拟变量
21
时间序列特征提取
滞后特征 · 滚动窗口特征 · 扩展窗口特征 · 星期/月份/季度/月末编码
Lag时间编码
22
数据分割策略
TimeSeriesSplit · 滚动窗口验证 · Walk-Forward · 避免未来信息泄露
交叉验证未来信息
23
数据管道构建
Pipeline设计 · 模块化处理 · 参数化配置 · 错误处理/日志 · 数据版本控制
Pipeline版本控制
24
大数据处理技术
Pandas向量化/分块/类型优化 · Dask/Modin分布式 · 内存映射/磁盘I/O
分布式性能优化
25
数据质量监控
实时监控指标 · 阈值/趋势告警 · 质量仪表盘 · 回滚与修复策略
监控告警
26
数据存储与检索优化
索引设计(时间戳/合约) · 分区表(日期/合约) · 列式存储(Parquet/Arrow)
索引列式存储
27
数据安全与合规
敏感数据脱敏(交易员ID/账户) · 访问权限 · 加密存储 · 合规审计日志
脱敏合规
28
数据可视化与探索
时序图(价格/成交量/IV) · 分布图(价差/波动率) · 相关性热力图 · 异常值可视化
可视化探索
29
实战案例：高频Tick数据处理
Tick清洗全流程(去重/对齐/异常) · Tick级特征 · 存储优化 · 回测数据准备
高频Tick
30
实战案例：日频数据清洗与因子构建
日频清洗 · 动量/波动率/偏度因子 · 因子标准化/中性化 · 有效性检验
日频因子