商品期货Tick级数据清洗与存储实战

📚 共计 30 章节

Tick数据概述

什么是Tick数据 · 在期货交易中的重要性 · 与分钟数据的区别

数据源获取

CTP/飞马/易盛 · 数据订阅 · 行情接口对接

数据源接口

原始Tick数据结构解析

交易所报文格式 · 字段含义：LastPrice, Volume, Bid/Ask…

Python环境搭建

Anaconda · Jupyter Notebook · pandas/numpy/sqlalchemy

数据读取与初步探索

pandas读取CSV/TXT · head/info/describe

时间戳处理

Unix时间戳↔datetime · 时区 · 交易日历对齐

缺失值处理

识别缺失 · 前向/后向填充 · 插值法

异常值检测

Z-Score · IQR · 业务规则过滤

重复数据清洗

完全重复删除 · 部分字段重复 · 时间戳去重

数据对齐与重采样

重采样1min/5min K线 · OHLC · 成交量聚合

合约换月处理

主力合约识别 · 换月日 · 前/后复权

涨跌停板数据清洗

涨跌停特征 · 无效报价过滤 · 特殊标记

涨跌停过滤

集合竞价数据处理

开盘/收盘集合竞价 · 特殊时段清洗

数据质量评估

完整性/一致性/准确性 · 质量报告

数据存储方案设计

MySQL/PostgreSQL vs InfluxDB/ClickHouse

MySQL数据库设计

表结构 · 分区表 · 索引优化

Python连接MySQL

pymysql · SQLAlchemy ORM · 批量插入

ClickHouse入门

安装配置 · MergeTree引擎 · 列式存储

ClickHouse引擎

Python写入ClickHouse

clickhouse-driver · 批量写入 · 性能调优

数据压缩与归档

Parquet · ZSTD压缩 · 生命周期管理

增量更新策略

每日增量 · 增量清洗 · 断点续传

数据校验与一致性检查

源数据对比 · Checksum · 日志

校验一致性

多合约并行处理

多进程/多线程 · 进程池 · 资源控制

内存优化技巧

分块读取 · int32 vs int64 · Categorical

数据可视化探索

Matplotlib · 价格走势 · 成交量 · 盘口深度

可视化Matplotlib

自动化清洗流水线

Airflow/Dagster · 定时任务 · 告警

自动化调度

数据版本管理

DVC · 数据回滚 · 元数据管理

性能基准测试

读写对比 · 清洗速度 · 瓶颈分析

实战案例一：螺纹钢期货

全流程Tick数据清洗与存储

实战螺纹钢

实战案例二：原油期货

清洗与多数据库存储对比