01
行情数据概览
为什么需要多市场数据清洗？常见数据源（交易所API、CSV、数据库）及其特点。
数据源概览
02
数据质量初探
缺失值、异常值、重复数据、时间戳错乱——这些坑你迟早会遇到。
质量陷阱
03
时间戳标准化
不同交易所的时间格式（UTC、本地时间、毫秒级时间戳）统一处理。
时间标准化
04
缺失值处理
向前填充、向后填充、插值法、删除策略——什么时候该用哪个？
填充插值
05
异常值检测
基于统计（3-sigma、IQR）和基于业务规则（涨跌停、价格跳空）的清洗方法。
统计业务规则
06
重复数据去重
精确去重与模糊去重，基于时间窗口的重复行情过滤。
去重时间窗口
07
数据对齐基础
什么是时间对齐？为什么Tick级数据对齐这么难？
对齐Tick
08
时间桶对齐法
将不规则Tick数据映射到固定时间桶（1秒、1分钟、5分钟）。
时间桶重采样
09
快照与增量数据合并
如何将逐笔成交与盘口快照对齐？
快照增量
10
跨交易所时间同步
处理不同交易所的网络延迟与撮合时间差异。
同步延迟
11
数据分片与并行清洗
用Pandas+Dask处理海量行情数据。
并行Dask
12
内存优化
数据类型压缩（float32 vs float64）、分块读取、索引优化。
内存压缩
13
数据验证框架
编写自动化测试用例，确保清洗后的数据符合预期。
验证测试
14
数据版本控制
如何管理清洗前后的数据快照？使用Parquet + 元数据。
版本Parquet
15
实战：A股Level-2行情清洗
从原始Tick到分钟K线。
A股Level-2
16
实战：加密货币永续合约
处理资金费率与标记价格。
加密货币永续合约
17
实战：美股全量历史数据
处理拆股、分红、停牌事件。
美股拆股
18
实战：期货跨期数据对齐
主力合约切换与价差计算。
期货跨期
19
实战：外汇Tick数据清洗
处理周末跳空与流动性枯竭。
外汇跳空
20
数据管道构建
使用Airflow编排每日数据清洗任务。
Airflow调度
21
监控与告警
数据质量监控仪表盘（缺失率、延迟、异常值报警）。
监控告警
22
数据存储选型
Parquet vs Arrow vs HDF5 vs 数据库，怎么选？
存储选型
23
数据湖与数据仓库
构建可扩展的多市场数据基础设施。
数据湖仓库
24
元数据管理
记录数据来源、清洗规则、版本号、时间范围。
元数据管理
25
数据血缘追踪
从原始数据到最终特征，每一步都可追溯。
血缘追溯
26
回测数据准备
如何避免前视偏差（Look-ahead Bias）？
回测前视偏差
27
实盘数据流
低延迟数据清洗管道设计（C++/Rust vs Python）。
低延迟实盘
28
数据安全与合规
金融数据隐私保护与合规存储。
安全合规
29
开源工具推荐
Pandas、Polars、DuckDB、ArcticDB 对比与选型。
工具对比
30
总结与展望
从数据清洗到特征工程，构建你的量化数据工厂。
总结展望