01
Tick数据概述
Tick数据定义 · 特点 · 量化应用场景
定义场景
02
数据源与格式
交易所/第三方源 · 字段解析 · CSV/Parquet/HDF5
数据源格式对比
03
采集与存储
实时架构 · 历史回补 · 分布式存储选型
架构存储
04
质量评估指标
完整性·准确性·一致性·及时性·唯一性
指标计算
05
缺失值处理
缺失模式 · 前向/后向填充 · 插值 · 时间窗口
填充插值
06
异常值检测
3σ · IQR · Z-Score · 移动平均偏差
统计异常
07
重复数据处理
精确/模糊去重 · 滑动窗口 · 交易日边界
去重时间戳
08
时间戳对齐与校正
交易所/本地差异 · 网络补偿 · 时钟同步
对齐标准化
09
价格合理性校验
涨跌停 · 跳变 · 价差 · 反转模式
价格校验
10
成交量与交易额校验
突变检测 · 量价一致 · 大单拆分
成交量异常
11
买卖盘口数据清洗
档位顺序 · 挂单量 · 盘口跳跃 · Level2
盘口L2
12
交易日与交易时段
连续/集合竞价 · 夜盘 · 节假日处理
时段日历
13
复权与合约换月
Tick复权 · 主力识别 · 换月跳空 · 连续合约
复权换月
14
标准化与归一化
价格/成交量标准化 · 时间戳归一 · 品种对齐
标准化归一化
15
数据切片与采样
等时间/等交易量/等价格变动 · 降频策略
采样降频
16
质量监控系统设计
实时指标 · 告警阈值 · 监控面板 · 自动修复
监控自动化
17
数据血缘与溯源
来源追踪 · ETL记录 · 版本管理 · 影响分析
血缘溯源
18
安全与权限管理
脱敏 · 访问控制 · 加密传输 · 审计日志
安全权限
19
大规模存储优化
列式存储 · 压缩算法 · 分区 · 索引
存储优化
20
查询与检索优化
时间范围 · 多维过滤 · 预聚合 · 缓存
查询性能
21
质量报告生成
指标体系 · 可视化报表 · 自动报告 · 摘要
报告可视化
22
回测数据准备
回测要求 · 切片对齐 · 未来信息避免 · 生存偏差
回测偏差
23
实盘数据管道
实时流处理 · 延迟控制 · 缓冲 · 故障恢复
管道实盘
24
校验与一致性检查
交叉验证 · 字段逻辑 · 交易日完整性
校验一致性
25
数据清洗工具链
Pandas/Dask/Vaex · Spark/Flink
工具分布式
26
自动化清洗流水线
Airflow · Docker · CI/CD · 监控告警
流水线DevOps
27
数据治理最佳实践
治理框架 · 协作流程 · 文档 · 知识库
治理规范
28
案例：股票Tick清洗
从原始数据到可用数据 · 全流程案例
股票实战
29
案例：期货Tick清洗
换月 · 夜盘 · 涨跌停 · 期货特有处理
期货换月
30
案例：加密货币Tick清洗
去中心化 · 多交易所融合 · Gas费与区块时间
加密货币融合