01
量化回测数据仓库概述
定义、核心价值、与传统数据仓库的区别、适用场景
概念定位
02
数据源接入策略
行情数据源（tushare/akshare/wind）、财务/另类数据、API接口设计
接入API
03
数据模型设计（上）
星型与雪花模型、事实表（日线/分钟/Tick）、维度表（股票/时间/行业）
建模维度
04
数据模型设计（下）
缓慢变化维度、SCD类型1/2/3、拉链表、历史数据回溯
SCD拉链表
05
ETL管道构建
增量/全量策略、数据清洗、异常值处理、复权除权除息对齐
ETL清洗
06
数据存储选型
MySQL/PostgreSQL、InfluxDB/ClickHouse、Parquet、S3/MinIO
存储选型
07
数据分区与分桶
时间分区、股票代码分桶、分区裁剪优化、生命周期管理
分区性能
08
数据质量控制
完整性/一致性/准确性、数据血缘、告警机制
质量监控
09
元数据管理
元数据模型、数据字典、血缘、版本管理、影响分析
元数据治理
10
数据仓库调度系统
Airflow/Dagster、DAG设计、依赖管理、重试告警
调度Airflow
11
实时数据管道
Flink/Spark Streaming、Kafka、实时行情、延迟与吞吐量
实时流式
12
数据湖与数据仓库融合
Lakehouse、Delta Lake/Iceberg/Hudi、ACID、时间旅行
湖仓一体Iceberg
13
数据服务层设计
RESTful/GraphQL、数据订阅、Redis缓存
API缓存
14
数据安全与权限
脱敏、行级/列级权限、审计日志、加密存储
安全权限
15
数据仓库性能优化
索引、物化视图、压缩编码、预聚合、缓存
优化物化视图
16
回测数据准备
数据清洗、幸存者偏差、前向/后向填充、对齐
回测幸存者偏差
17
因子数据管理
因子存储、计算流水线、生命周期、版本控制
因子版本
18
事件数据管理
公司事件（财报/分红）、宏观事件、事件驱动回测
事件宏观
19
多市场数据整合
A股/港股/美股/期货/期权、汇率、交易日历对齐
多市场整合
20
数据仓库测试策略
单元/集成/数据质量/回归测试、测试数据生成
测试质量
21
数据仓库监控与运维
延迟/数据量/错误率、日志聚合、告警、容量规划
监控运维
22
数据仓库文档化
数据字典自动生成、血缘可视化、API文档、变更日志
文档可视化
23
数据仓库版本管理
模型/ETL版本控制、数据回滚、兼容性管理
版本回滚
24
数据仓库成本优化
存储/计算成本、冷热分层、数据压缩
成本分层
25
数据仓库灾难恢复
备份策略、异地容灾、恢复演练、RTO/RPO
容灾备份
26
与机器学习平台集成
特征存储（Feast）、训练/推理管道、数据漂移检测
MLFeast
27
与回测引擎集成
数据接口规范、缓存层、并行加载、内存管理
回测引擎集成
28
数据仓库最佳实践
命名/编码规范、代码审查、CI/CD、代码复用
规范CI/CD
29
数据仓库演进案例
从单机MySQL到分布式数据湖、批处理到流批一体
案例演进
30
数据仓库未来趋势
实时化、智能化、Serverless、Data Mesh、Data Contract
趋势前沿