因子工厂数据仓库建设实战

📚 共计 30 章节

因子工厂概述

什么是因子工厂 · 在量化投资中的价值 · 数据仓库核心作用

数据仓库架构设计

分层架构(ODS/DWD/DWS/ADS) · 维度建模与事实建模 · Lambda/Kappa选型

数据采集与接入

数据源类型(行情/财务/另类) · 实时(Kafka)与批量(Sqoop/DataX) · 质量初检

数据存储选型

OLAP与OLTP区别 · 列式存储(Parquet/ORC) · HDFS与对象存储对比

数据清洗与标准化

缺失值处理 · 异常值检测 · 格式统一 · 字段映射与字典维护

清洗标准化

因子计算引擎

离线(Spark SQL)与实时(Flink SQL) · 因子表达式解析 · 生命周期管理

计算SparkFlink

因子数据模型设计

因子宽表模型 · 星型与雪花模型 · 缓慢变化维(SCD)策略

数据分区与分桶

时间分区策略 · 基于因子ID分桶 · 数据倾斜解决方案

数据血缘与元数据管理

血缘追踪实现 · 元数据采集展示 · 影响分析与回溯

血缘元数据

数据质量监控体系

质量规则定义(完整性/准确性/一致性) · 监控告警 · 数据修复流程

数据安全与权限控制

数据脱敏策略 · 行级与列级权限 · 审计日志与合规要求

数据服务接口设计

RESTful API与gRPC · 批量导出与实时查询 · 限流与降级策略

任务调度与编排

DAG调度(Airflow/DolphinScheduler) · 任务依赖管理 · 失败重试与告警

数据版本管理

因子数据版本控制 · 快照与增量策略 · 回滚机制

性能优化实战

查询加速(物化视图/预聚合) · 存储压缩 · 计算资源动态调整

优化物化视图

实时因子计算

事件驱动架构 · 状态管理与容错 · 端到端延迟优化

数据湖与数据仓库融合

Lakehouse架构 · Delta Lake/Iceberg/Hudi对比 · 统一元数据

数据湖Lakehouse

因子回测数据准备

回测数据切分 · 避免未来函数 · 幸存者偏差处理

数据治理最佳实践

数据标准制定 · 数据字典建设 · 质量考核指标

监控与运维

集群监控(Grafana+Prometheus) · 日志收集(ELK) · 容量规划

数据备份与恢复

全量备份与增量备份 · 异地容灾 · 恢复演练

数据仓库迁移实战

传统数仓迁移到云原生 · 迁移工具与验证 · 回滚方案

迁移云原生

多租户数据隔离

租户资源隔离 · 数据隔离 · 计费与配额管理

多租户隔离

数据可视化与报表

Superset/Grafana集成 · 因子暴露度分析 · 报表自动化

可视化报表

数据仓库成本优化

存储成本(冷热分层) · 计算成本(Spot实例) · 生命周期管理

数据一致性保障

分布式事务(TCC/Saga) · 最终一致性方案 · 对账机制

一致性事务

数据仓库测试策略

单元测试 · 集成测试 · 回归测试 · 数据对比测试

数据仓库文档与知识库

技术文档规范 · 数据字典维护 · 知识沉淀与分享

文档知识库

数据仓库演进趋势

云原生数据仓库 · Serverless架构 · AI辅助数据治理

趋势Serverless

综合实战：从零搭建因子工厂数据仓库

需求分析 · 架构设计 · 开发实施 · 上线运维全流程

实战全流程