01
做市数据概览
高频做市数据来源（交易所、券商、第三方数据商）、数据频率（Tick级、秒级、分钟级）、数据字段解析（行情快照、逐笔成交、订单簿深度）。
数据来源字段解析
02
数据质量评估
数据完整性检查（缺失值比例）、数据准确性校验（价格跳变、涨跌停异常）、数据一致性核对（多源数据交叉验证）。
完整性准确性一致性
03
缺失值处理策略
向前填充（ffill）、向后填充（bfill）、线性插值、基于时间权重的填充、高频数据中的特殊处理（如盘前盘后数据）。
ffillbfill插值
04
异常值检测与处理
基于统计学的Z-score方法、基于IQR的箱线图法、基于机器学习的孤立森林法、基于业务规则的过滤（如价格不能为负、成交量不能为0）。
Z-scoreIQR孤立森林
05
时间序列对齐
不同数据源的时间戳标准化（纳秒级对齐）、重采样技术（降采样与升采样）、处理非交易时段数据、节假日数据剔除。
对齐重采样节假日
06
数据去重与去噪
精确去重（基于时间戳+价格+成交量）、模糊去重（基于时间窗口的相似度匹配）、移动平均去噪、小波变换去噪。
去重去噪小波
07
订单簿数据清洗
买卖盘口深度校验（卖一价必须大于买一价）、价格档位合理性检查（最小变动单位校验）、订单簿快照与逐笔成交的交叉验证。
盘口交叉验证
08
逐笔成交数据清洗
成交价格与行情快照价格的一致性校验、成交量的整数倍校验（手数校验）、买卖方向标识的清洗（主动买/主动卖）。
成交校验方向清洗
09
行情快照数据清洗
最新价、开盘价、最高价、最低价、收盘价的逻辑校验（最高价>=最低价）、涨跌幅计算与校验、成交量与成交额的匹配校验。
逻辑校验涨跌幅
10
数据标准化与归一化
Z-score标准化、Min-Max归一化、针对高频数据的滚动窗口标准化、不同品种间的标准化处理。
Z-scoreMin-Max滚动窗口
11
特征工程基础
基于清洗后数据的衍生特征构建（如买卖价差、订单簿不平衡度、成交量加权平均价VWAP）、特征相关性分析、特征重要性评估。
衍生特征VWAP
12
数据存储方案
Parquet格式存储（列式存储优势）、HDF5格式存储、数据库存储（InfluxDB、ClickHouse）、数据分区策略（按日期、按品种）。
ParquetClickHouse分区
13
数据管道构建
基于Airflow的数据清洗流水线、基于Luigi的任务调度、基于Dask的并行数据处理、实时数据清洗与批处理数据清洗的架构设计。
AirflowDask实时
14
数据版本管理
数据快照管理、数据回滚机制、数据变更日志、基于Git LFS的大数据版本控制。
快照回滚Git LFS
15
数据质量监控
实时数据质量仪表盘（Grafana）、数据质量评分卡、异常数据告警机制、数据质量报告自动生成。
Grafana告警评分卡
16
回测数据准备
避免未来信息泄露（前视偏差）、生存者偏差处理、分红送股复权处理、停牌数据填充策略。
前视偏差复权停牌
17
实盘数据与回测数据的一致性
实盘数据延迟处理、实盘数据截断处理、实盘数据与回测数据的映射关系、滑点与手续费的数据处理。
延迟映射滑点
18
多品种数据清洗
股票数据清洗（复权、停牌、涨跌停）、期货数据清洗（换月、交割、保证金调整）、期权数据清洗（行权、到期、波动率曲面）。
股票期货期权
19
数据安全与隐私
数据脱敏处理、数据访问权限控制、数据加密存储、数据审计日志。
脱敏加密审计
20
数据清洗自动化脚本
Python脚本封装（argparse参数解析）、配置文件管理（YAML/JSON）、日志记录（logging模块）、错误处理与重试机制。
argparseYAMLlogging
21
数据清洗性能优化
向量化操作（NumPy/Pandas）、多进程处理（multiprocessing）、GPU加速（cuDF）、内存管理（分块读取、数据类型优化）。
向量化多进程cuDF
22
数据清洗测试与验证
单元测试（pytest）、数据质量断言、回归测试、A/B测试验证清洗效果。
pytest回归测试A/B
23
数据清洗文档与规范
数据字典维护、清洗规则文档、清洗流程文档、清洗结果报告模板。
数据字典规范报告
24
案例实战（一）：股票Tick级
股票Tick级数据清洗——从原始行情到可用数据的完整流程。
Tick级实战
25
案例实战（二）：期货分钟级
期货分钟级数据清洗——换月处理与连续合约构建。
换月连续合约
26
案例实战（三）：期权隐含波动率
期权隐含波动率数据清洗——异常波动率剔除与曲面平滑。
隐含波动率曲面平滑
27
案例实战（四）：多源数据融合
多源数据融合清洗——交易所数据与第三方数据商的交叉验证与融合。
多源融合交叉验证
28
常见陷阱与避坑指南
时间戳时区问题、数据漂移问题、数据重复与缺失的边界情况、数据清洗对回测结果的过度拟合。
时区漂移过拟合
29
数据清洗的未来趋势
机器学习在数据清洗中的应用（自动异常检测、自动填充）、实时数据清洗与流处理（Flink、Kafka）、数据清洗即服务（Data Cleaning as a Service）。
MLFlinkDCaaS
30
课程总结与最佳实践
数据清洗的黄金法则、个人经验总结、推荐工具与资源、后续学习路径建议。
黄金法则资源路径