01
外汇市场微观数据概述
Tick数据、Level2数据、报价深度与K线区别
概念入门
02
数据源选择与API接入
Dukascopy/TrueFX/FXCM · API密钥申请
数据源API
03
Python环境准备
pandas, numpy, requests, websocket-client, 虚拟环境
环境工具
04
使用requests获取历史Tick数据
Dukascopy HTTP请求 · CSV/JSON解析
爬取实战
05
数据解析与DataFrame构建
时间戳、买价、卖价、成交量 → pandas DF
清洗核心
06
处理时间戳与时区
Unix→本地时间 · 夏令时 · 时区设置
时间时区
07
缺失值处理
NaN识别 · 前向填充/插值/删除
缺失值清洗
08
异常值检测与过滤
Z-score / IQR 过滤极端报价
异常统计
09
重复数据去重
基于时间戳+价格组合删除完全重复
去重质量
10
数据对齐与重采样
不规则Tick → 1秒/1分钟/5分钟 OHLC
重采样OHLC
11
买卖价差计算
Tick级价差 · 流动性分析
价差微观
12
成交量聚合
时间窗口聚合 · 成交量分布图
成交量聚合
13
报价深度数据获取
WebSocket订阅Level2 · 订单簿快照
WebSocket深度
14
订单簿重建
增量更新 · 维护买卖盘口
订单簿L2
15
订单簿特征提取
买卖压力比 · 深度不平衡 · 冲击成本
特征因子
16
数据存储方案
Parquet / CSV / HDF5 对比与选择
存储性能
17
数据质量评估
完整性 · 连续性 · 延迟指标
质量评估
18
多数据源合并
Tick对齐合并 · 时间戳不一致处理
合并多源
19
节假日与休市处理
非交易时段过滤 · 周末跳空
日历休市
20
数据切片与抽样
随机抽样 · 分层抽样 · 模型训练
抽样ML
21
特征工程基础
RSI / MACD / 布林带 · 衍生指标
技术指标特征
22
微观结构指标
已实现波动率 · 价差 · 订单流不平衡
微观高频
23
数据管道构建
Airflow / Prefect 自动化流水线
调度工程
24
增量更新策略
仅获取新增数据 · 避免重复下载
增量效率
25
数据版本控制
DVC 管理清洗后数据集
版本DVC
26
性能优化
多线程/异步IO · NumPy向量化
加速并行
27
内存管理
分块读取 · 内存映射 · 大数据集
内存优化
28
数据可视化
matplotlib / plotly · 价差分布图
可视化图表
29
实战案例：EUR/USD流水线
完整Tick数据获取与清洗
实战项目
30
总结与最佳实践
常见坑点 · 生产部署 · 学习路径
总结进阶