金融时间序列数据清洗与预处理

📚 共计 30 章节

金融时间序列概述

什么是金融时间序列、金融数据的特殊性（非平稳性、自相关性、异方差性）、常见金融数据源（股票、外汇、期货、加密货币）。

概念数据源

数据获取与存储

使用yfinance获取股票数据、pandas-datareader获取经济数据、CSV/Parquet/HDF5、SQLite/InfluxDB。

数据探索性分析 (EDA)

描述性统计、时间序列可视化、分布分析、相关性分析、缺失值模式识别。

可视化统计

缺失值处理

MCAR/MAR/MNAR、删除法、插补法（均值/中位数、前向/后向填充、线性插值、KNN）。

异常值检测与处理

Z-score、IQR、DBSCAN、孤立森林、截尾/缩尾/替换策略。

时间戳规范化

时区处理、交易日历对齐、非交易日处理、高频降采样、低频升采样。

时区重采样

数据重采样与聚合

OHLC重采样、成交量聚合、波动率计算、滚动窗口统计、指数加权移动平均。

平稳性检验与处理

ADF检验、KPSS检验、差分、对数变换、Box-Cox、季节性分解。

平稳性差分

自相关性与偏自相关性

ACF/PACF图、Ljung-Box检验、Durbin-Watson检验、自相关处理策略。

异方差性检验与处理

ARCH效应、White检验、Breusch-Pagan、对数变换、加权最小二乘法。

数据标准化与归一化

Z-score标准化、Min-Max归一化、RobustScaler、金融数据标准化策略。

归一化Robust

特征工程基础

滞后特征、滚动统计、技术指标（MA/RSI/MACD/布林带）、日历特征。

技术指标滞后

数据分割策略

时间序列交叉验证、滚动/扩展窗口验证、避免数据泄露。

交叉验证泄露

多源数据对齐

不同频率/时区/交易所数据对齐、拼接与合并。

数据质量评估

完整性、一致性、准确性、及时性检查，数据质量报告生成。

高频数据处理

Tick数据清洗、订单簿预处理、逐笔交易对齐、存储优化。

事件数据处理

拆股/分红调整、宏观经济事件、新闻情绪整合、事件窗口分析。

面板数据处理

横截面+时间序列混合、Fama-French因子、多资产组合清洗。

数据管道构建

ETL流程设计、数据版本控制、血缘追踪、自动化清洗脚本。

数据验证与测试

单元测试、完整性测试、回归测试、数据漂移检测。

缺失值高级处理

多重插补 (MICE)、期望最大化 (EM)、矩阵分解、时间序列特定插补。

异常值高级检测

LOF、One-Class SVM、Autoencoder、集成方法。

LOF深度学习

时间序列分解

加法/乘法模型、STL分解、X13-ARIMA-SEATS、趋势/季节提取。

数据平滑技术

移动平均平滑、指数平滑、Savitzky-Golay滤波、小波去噪。

金融数据特定清洗

股票复权/停牌、外汇点差/跳空、期货换月处理。

数据存储优化

列式存储 (Parquet)、压缩、分区、索引优化、内存管理。

数据可视化与报告

交互式时间序列图、热力图、相关性矩阵、数据质量仪表盘。

仪表盘热力图

大数据场景下的清洗

Spark处理金融时间序列、分布式清洗、流式数据 (Kafka+Flink)。

数据清洗最佳实践

文档化、可重复性、模块化设计、错误处理/日志、性能优化。

最佳实践日志

综合案例实战

从原始数据到建模就绪、完整清洗流程、效果对比、项目总结。