01
行情系统概述
什么是行情系统 · 多源数据聚合背景与挑战 · 课程目标与学习路径
入门全景
02
数据源接入基础
REST API 与 WebSocket 协议对比 · 交易所 API 鉴权机制 · 连接池管理
协议鉴权
03
数据模型设计
统一行情模型 (Tick/K线/OrderBook) · 时间戳规范化 · 版本控制策略
建模规范
04
数据采集层架构
生产者-消费者模式 · 多线程与异步IO选型 · 采集任务调度与监控
架构采集
05
数据清洗与校验
缺失值处理 · 异常值检测 (Z-Score/IQR) · 数据一致性校验 (Checksum)
清洗质量
06
数据对齐技术
时间窗口对齐 (Resample) · 事件驱动对齐 · 跨交易所时钟偏差补偿
对齐时序
07
数据缓存策略
本地缓存 (LRU/LFU) · 分布式缓存 (Redis Cluster) · 穿透与雪崩防护
缓存性能
08
消息队列选型
Kafka vs RabbitMQ vs Pulsar · Topic 分区设计 · ACK 可靠性保证
MQ消息
09
数据聚合引擎
滑动窗口聚合 · 时间桶聚合 · 增量聚合与全量聚合对比
聚合引擎
10
实时计算框架
Flink/Spark Streaming 应用 · 状态管理 · Checkpoint 机制
实时Flink
11
数据存储方案
时序数据库选型 (InfluxDB/TimescaleDB/ClickHouse) · 列式存储 · TTL
存储时序
12
数据质量监控
延迟监控 (Lag) · 吞吐量监控 (TPS) · 数据完整性告警
监控质量
13
容错与高可用
采集器故障转移 · 数据源降级策略 · 多活架构设计
高可用容错
14
数据回放与回溯
历史行情回放系统 · 回放速度控制 · 回溯测试数据准备
回放测试
15
API 网关设计
统一数据查询接口 · 限流与鉴权 · API 版本管理
网关API
16
数据订阅与推送
WebSocket 推送服务 · 订阅分组管理 · 推送压缩 (Gzip/Snappy)
推送WebSocket
17
数据脱敏与合规
敏感字段识别 · 脱敏算法 (掩码/替换) · 合规审计日志
安全合规
18
性能优化实战
内存优化 (对象池/零拷贝) · GC 调优 · 网络带宽优化
性能调优
19
测试策略
单元测试 (Mock) · 集成测试 (模拟多源) · 压力测试 (JMeter/Locust)
测试质量
20
部署与运维
Docker 容器化 · Kubernetes 编排 · 日志收集 (ELK/Loki)
运维K8s
21
监控与告警体系
Prometheus+Grafana · 自定义告警规则 · 钉钉/企微通知
监控告警
22
数据血缘与溯源
数据血缘追踪 (Atlas/DataHub) · 数据源溯源标记 · 影响分析
血缘治理
23
多源数据融合
数据加权融合 · 基于信噪比策略 · 动态权重调整
融合权重
24
异常场景处理
数据源断连恢复 · 数据乱序处理 · 重复数据去重 (幂等性)
异常幂等
25
成本控制
数据源分级 (VIP/普通) · 带宽成本优化 · 冷热分离存储
成本优化
26
安全防护
API 密钥管理 (Vault) · 传输加密 (TLS) · 访问控制 (RBAC)
安全加密
27
数据可视化
实时仪表盘 (Grafana/Superset) · K线图与深度图 · 异常标注
可视化图表
28
案例实战（一）
搭建双交易所行情聚合系统 (Binance + OKX)
实战聚合
29
案例实战（二）
实时价差监控与套利信号生成系统
实战套利
30
总结与展望
课程回顾 · 常见误区 · 未来趋势 (DeFi / AI辅助聚合)
总结趋势