01
ETL概述与金融数据特点
ETL概念、金融数据源类型（行情、交易、基本面）、数据质量挑战。
概念金融基础
02
Python ETL环境搭建
Anaconda安装、虚拟环境管理、常用库（pandas, sqlalchemy, requests）安装。
环境Python
03
数据采集基础
使用requests库抓取金融API数据、处理JSON/CSV格式、异常处理与重试机制。
API爬虫
04
数据清洗实战
缺失值处理、异常值检测、数据类型转换、去重与标准化。
清洗pandas
05
pandas数据处理核心
DataFrame操作、groupby聚合、merge连接、时间序列重采样。
pandas聚合
06
数据库交互
SQLAlchemy连接MySQL/PostgreSQL、ORM基础、批量插入与更新策略。
SQLORM
07
数据仓库设计
星型模型与雪花模型、事实表与维度表设计、金融数据建模案例。
建模仓库
08
ETL调度框架
Apache Airflow安装与配置、DAG定义、任务依赖与调度周期。
Airflow调度
09
增量抽取策略
全量抽取 vs 增量抽取、时间戳增量、日志增量、CDC原理。
增量CDC
10
数据转换进阶
自定义函数、apply与transform、窗口函数、复杂业务逻辑实现。
转换窗口函数
11
数据加载优化
批量写入、事务控制、索引优化、分区表策略。
性能分区
12
日志与监控
Python logging模块、Airflow日志查看、自定义告警（邮件/钉钉）。
监控告警
13
数据质量检查
完整性校验、一致性校验、准确性校验、自动化质量报告。
质量校验
14
金融指标计算
移动平均线、RSI、MACD等技术指标ETL实现。
技术指标量化
15
多数据源整合
CSV、Excel、API、数据库多源数据合并与冲突处理。
整合多源
16
性能调优
pandas向量化、chunk分块处理、多进程/多线程加速。
调优并行
17
数据版本控制
数据快照、缓慢变化维（SCD Type 1/2）、历史回溯。
SCD版本
18
实时ETL入门
Kafka基础、Python消费Kafka消息、流式处理框架（Faust）。
实时Kafka
19
数据脱敏与安全
敏感字段识别、加密算法（AES）、脱敏规则配置。
安全脱敏
20
ETL测试策略
单元测试（pytest）、集成测试、数据对比测试。
测试pytest
21
容器化部署
Dockerfile编写、docker-compose编排Airflow集群。
Docker部署
22
CI/CD集成
GitHub Actions自动部署ETL代码、环境变量管理。
CI/CDActions
23
金融监管合规
数据保留策略、审计日志、GDPR/个人信息保护法要求。
合规监管
24
元数据管理
数据血缘追踪、字段字典维护、ETL元数据存储。
元数据血缘
25
异常处理框架
重试机制、死信队列、失败通知与自动恢复。
异常重试
26
数据湖与ETL
Delta Lake基础、ACID事务、时间旅行查询。
数据湖Delta
27
金融风控ETL案例
反欺诈特征工程、实时规则引擎数据管道。
风控特征工程
28
量化回测数据管道
历史数据清洗、复权因子处理、回测数据准备。
回测量化
29
ETL文档化
自动生成数据字典、Markdown文档、Swagger API文档。
文档Swagger
30
项目实战：端到端金融ETL系统
从行情API到数据仓库，完整构建自动化ETL流水线。
实战综合