01
行情数据概述
定义、类型 (Level-1/Level-2)、应用场景与价值
概念入门
02
数据源探秘
Wind, Bloomberg, 东方财富, 新浪财经 · API对比
数据源接口
03
网络协议基础
HTTP/HTTPS, WebSocket, TCP/UDP 在行情传输中的应用
协议网络
04
RESTful API接入实战
以新浪财经为例，获取实时股票行情
实战REST
05
WebSocket实时流接入
以币安交易所为例，订阅K线数据
实时WebSocket
06
数据格式解析
JSON, CSV, Protocol Buffers 在行情数据中的使用
格式Protobuf
07
Python爬虫基础
Requests, BeautifulSoup 入门与行情页面抓取
爬虫Python
08
异步IO与并发
asyncio + aiohttp 提升数据接入效率
异步高性能
09
数据存储选型
MySQL, InfluxDB, MongoDB 对比
存储数据库
10
数据清洗概述
为什么需要清洗？脏数据类型：缺失、异常、重复、延迟
清洗脏数据
11
缺失值处理
向前填充、向后填充、插值法、删除策略
缺失值填充
12
异常值检测
3σ, IQR, Isolation Forest 检测方法
异常机器学习
13
重复数据去重
基于时间戳/主键精确去重 · 相似度模糊去重
去重相似度
14
时间序列对齐
不同频率数据 (1min, 5min, 日线) 对齐与重采样
时间序列重采样
15
数据标准化
价格复权 (前/后复权)、货币单位统一、字段命名规范
标准化复权
16
数据质量监控
设计质量评分卡 · 完整性、准确性、及时性
监控质量
17
ETL流程设计
Apache Airflow 编排抽取、清洗、加载任务
ETLAirflow
18
实时清洗架构
Kafka + Flink 流式清洗管道设计
实时Flink
19
数据血缘与溯源
记录数据从源头到清洗后的完整链路
血缘溯源
20
实战案例一：A股Level-2
逐笔成交、委托队列接入与清洗
A股Level-2
21
实战案例二：永续合约深度
加密货币永续合约深度数据接入与清洗
加密货币深度
22
实战案例三：外汇与商品期货
黄金、原油历史数据清洗
外汇期货
23
数据脱敏与合规
GDPR、个人信息保护法 · 脱敏技术
合规隐私
24
性能优化
限流、重试、熔断；并行计算清洗任务
优化限流
25
测试与验证
单元测试、集成测试、MD5一致性校验
测试校验
26
文档与规范
数据字典、接口文档、清洗规则说明书
文档规范
27
监控与告警
Prometheus + Grafana 监控管道健康
监控告警
28
版本控制
Git管理清洗脚本、配置文件、数据模型版本
Git版本
29
CI/CD 持续集成/部署
自动化部署清洗任务到生产环境
CI/CD自动化
30
课程总结与展望
行业趋势 (AI+量化, 高频交易) · 学习路径推荐
总结趋势