01
数据管道概述
量化交易数据管道的定义、核心目标（低延迟、高可用、可扩展）、典型架构（采集层、清洗层、存储层、计算层、服务层）。
架构核心概念
02
数据源分析
交易所API（REST vs WebSocket）、第三方数据供应商（Wind、Bloomberg、Tushare）、市场数据分类（Level1/Level2、Tick/Bar、订单簿）。
API市场数据
03
环境搭建
Python虚拟环境（conda/venv）、依赖管理（requirements.txt）、Docker容器化部署、Linux服务器基础配置。
DockerLinux
04
数据采集基础
requests库使用、API鉴权（API Key/Token）、请求频率控制（Rate Limiting）、错误重试机制（Exponential Backoff）。
requests重试
05
WebSocket实战
websocket-client库、连接管理（心跳/重连）、数据流解析（JSON/Protobuf）、多路复用（Multiplexing）。
WebSocket实时
06
数据清洗入门
Pandas基础操作、缺失值处理（ffill/bfill/dropna）、异常值检测（3-sigma/IQR）、数据类型转换。
Pandas清洗
07
时间序列处理
DatetimeIndex设置、时区处理（pytz/dateutil）、重采样（resample）、滚动窗口计算（rolling/expanding）。
时间序列重采样
08
数据存储选型
CSV/Parquet文件存储、SQLite/MySQL关系型数据库、InfluxDB时序数据库、MongoDB文档数据库对比。
存储对比
09
文件存储实战
Pandas读写CSV/Parquet、文件分片策略（按日期/按品种）、压缩存储（gzip/snappy）、数据版本管理。
Parquet分片
10
关系型数据库
SQLAlchemy ORM使用、表结构设计（主键/索引）、批量插入优化（executemany）、查询性能调优。
SQLAlchemyMySQL
11
时序数据库
InfluxDB安装配置、Line Protocol写入、Flux查询语言、保留策略（Retention Policy）与连续查询。
InfluxDB时序
12
消息队列入门
RabbitMQ基础概念（Exchange/Queue/Binding）、生产消费模型、消息确认机制（ACK/NACK）。
RabbitMQ消息
13
Kafka实战
Kafka集群搭建、Topic与Partition设计、生产者（acks/retries）、消费者组（Consumer Group）管理。
Kafka流式
14
数据管道编排
Apache Airflow DAG定义、任务依赖管理、调度周期设置（Cron表达式）、失败重试与告警。
Airflow调度
15
实时计算框架
Flink/Spark Streaming对比、流处理概念（Event Time/Watermark）、状态管理（State Backend）。
FlinkSpark
16
批处理框架
Spark SQL数据处理、DataFrame/Dataset API、分区优化（Partition Pruning）、Shuffle调优。
Spark批处理
17
数据质量监控
完整性检查（行数/字段非空）、一致性校验（跨表/跨源）、时效性监控（数据延迟）、异常告警（Prometheus + Alertmanager）。
监控质量
18
数据血缘管理
Apache Atlas/DataHub工具、元数据采集、血缘关系图构建、影响分析（Impact Analysis）。
血缘元数据
19
数据版本控制
DVC（Data Version Control）使用、数据仓库分层（ODS/DWD/DWS/ADS）、回滚与快照机制。
DVC版本
20
API服务搭建
FastAPI框架、RESTful接口设计、数据序列化（Pydantic）、异步处理（async/await）。
FastAPIREST
21
数据缓存策略
Redis缓存（String/Hash/List）、缓存穿透/击穿/雪崩解决方案、本地缓存（LRU Cache）。
Redis缓存
22
性能优化
异步IO（asyncio/aiohttp）、多进程/多线程（concurrent.futures）、Cython加速、内存映射文件（mmap）。
异步性能
23
日志与监控
ELK Stack（Elasticsearch/Logstash/Kibana）、结构化日志（structlog）、性能指标采集（Prometheus metrics）。
ELKPrometheus
24
安全与权限
数据加密（AES/RSA）、API认证（JWT/OAuth2）、访问控制（RBAC/ACL）、审计日志。
安全JWT
25
容错与高可用
主从复制（Master-Slave）、故障转移（Failover）、数据备份与恢复、异地多活架构。
高可用容错
26
测试策略
单元测试（pytest）、集成测试（Testcontainers）、性能测试（locust）、数据一致性测试。
pytest测试
27
CI/CD流水线
GitLab CI/GitHub Actions配置、自动化测试、Docker镜像构建、部署到Kubernetes。
CI/CDK8s
28
Kubernetes部署
Pod/Deployment/Service配置、ConfigMap/Secret管理、Horizontal Pod Autoscaler、Helm Chart。
K8sHelm
29
成本优化
云资源选型（按需/预留/Spot实例）、数据压缩与归档、冷热数据分离、查询成本控制。
成本云
30
实战项目
从零搭建A股Level2数据管道（采集→清洗→存储→计算→服务），涵盖完整技术栈与最佳实践。
实战Level2