01
Tick数据认知
Tick数据定义 · 高频交易与Tick数据 · Tick与分钟数据区别
概念基础
02
数据源与格式
常见Tick数据源 · CSV/Parquet/Arrow格式对比
数据源格式
03
环境搭建
Python环境 · Pandas/Numpy/Matplotlib · ArcticDB/DuckDB
工具安装
04
数据读取实战
Pandas读取CSV · 分块读取策略 · 大文件处理
IOPandas
05
数据概览与EDA
describe() · info() · head() · 缺失值可视化 · 时间范围统计
EDA可视化
06
时间戳清洗
统一时间格式 · 时区处理 · 去重 · 排序
时间清洗
07
价格异常检测
跳空 · 零/负价格 · 价格回档(Reversal)识别
异常价格
08
成交量异常检测
零成交量 · 巨量成交 · 成交量突变检测
成交量异常
09
买卖盘口(Bid/Ask)清洗
价差为负/过大 · 盘口缺失处理
盘口清洗
10
交易状态标记
正常/集合竞价/停牌/涨跌停板标记
状态标记
11
复权处理
前复权与后复权 · Tick级复权 · 除权除息日清洗
复权除权
12
合并多标的Tick数据
多股票对齐 · 时间轴对齐 · 交叉验证
合并对齐
13
重采样与降频
Tick→1秒/1分K线 · OHLCV · VWAP
重采样降频
14
缺失值处理
前向/后向填充 · 线性插值 · 时间加权插值
缺失值插值
15
异常值处理
3-sigma · IQR · MAD · 分位数截断
异常值统计
16
去噪处理
简单/指数加权移动平均 · 小波去噪 · 卡尔曼滤波
去噪滤波
17
数据切片与抽样
按时间/交易量/时间间隔抽样
切片抽样
18
特征工程基础
收益率 · 波动率 · 买卖价差 · 订单流不平衡
特征衍生
19
数据持久化
Parquet存储 · 分区存储 · 增量更新
存储持久化
20
数据质量评估
完整性 · 准确性 · 一致性 · 时效性指标
质量评估
21
数据回测流水线构建
从原始数据到回测数据的完整Pipeline设计
Pipeline回测
22
实战案例1：股指期货Tick清洗
IF/IC/IH 股指期货Tick数据清洗
实战期货
23
实战案例2：股票Tick清洗
沪深300成分股Tick数据清洗
实战股票
24
实战案例3：加密货币Tick清洗
BTC/USDT 加密货币Tick数据清洗
实战加密
25
实战案例4：外汇Tick清洗
EUR/USD 外汇Tick数据清洗
实战外汇
26
性能优化
向量化 · Numba · 多进程 · Dask分布式
性能加速
27
数据校验与回测一致性
清洗前后回测对比 · 过拟合风险控制
校验一致性
28
数据版本管理
DVC (Data Version Control) 在Tick数据中的应用
版本DVC
29
常见陷阱与避坑指南
幸存者偏差 · 前视偏差 · 数据泄露 · 过度清洗
陷阱避坑
30
总结与展望
最佳实践 · 未来趋势：机器学习辅助清洗、实时清洗
总结趋势