01
数据管道概述
做市商业务背景、数据管道的定义与价值、核心设计目标（低延迟、高吞吐、可扩展）
背景目标
02
行情数据源接入
交易所API协议对比（FIX/WebSocket/REST）、行情数据格式标准化、连接池与心跳管理
API标准化
03
数据序列化与反序列化
Protobuf vs JSON vs MessagePack、Schema管理、编解码性能基准测试
Protobuf性能
04
内存队列设计
无锁队列（Disruptor模式）、有界队列与背压机制、内存屏障与伪共享问题
无锁背压
05
数据分发模式
发布-订阅模型、点对点模型、扇出（Fan-out）与扇入（Fan-in）策略
Pub/Sub路由
06
实时计算引擎
CEP（复杂事件处理）基础、滑动窗口与滚动窗口、Tick级聚合计算
CEP窗口
07
订单簿管理
L1/L2/L3订单簿数据结构、增量更新与快照同步、价格档位合并算法
订单簿增量
08
风险控制管道
前置风控（订单检查）、实时风控（仓位/资金监控）、后置风控（对账与清算）
风控监控
09
数据持久化策略
时序数据库选型（InfluxDB/ClickHouse）、冷热数据分离、数据保留策略
时序库冷热
10
管道监控与告警
延迟指标采集（p50/p99/p999）、健康检查机制、告警规则引擎
监控告警
11
数据一致性保障
Exactly-Once语义实现、幂等性设计、分布式事务（Saga模式）
一致性Saga
12
管道容错与恢复
检查点（Checkpoint）机制、重放（Replay）策略、故障转移（Failover）
容错恢复
13
数据管道测试
单元测试（编解码/队列）、集成测试（端到端）、混沌工程（延迟/丢包模拟）
测试混沌
14
性能优化实战
零拷贝技术、CPU亲和性绑定、内核旁路（DPDK/RDMA）简介
零拷贝DPDK
15
多市场数据聚合
跨交易所时钟同步、数据归一化处理、合并深度数据生成
聚合归一化
16
历史数据回放
回放引擎设计、时间控制模式（实时/加速/跳转）、回放数据索引
回放索引
17
数据管道版本管理
Schema演进策略、向后兼容性、灰度发布与回滚
版本兼容
18
安全与加密
TLS/mTLS配置、数据脱敏、访问控制（RBAC/ABAC）
加密RBAC
19
管道配置中心
动态配置下发、配置热加载、配置版本化与审计
配置热加载
20
数据质量监控
完整性校验（序列号/时间戳）、异常值检测、数据延迟SLA
质量SLA
21
管道日志系统
结构化日志、日志分级与采样、分布式追踪（OpenTelemetry）
日志追踪
22
数据管道与策略系统集成
策略订阅接口、信号传输协议、回执确认机制
集成信号
23
多租户数据隔离
租户级管道划分、资源配额管理、公平调度算法
多租户隔离
24
管道成本优化
计算资源弹性伸缩、数据压缩算法（Snappy/Zstd）、带宽优化
成本压缩
25
数据管道文档化
API文档自动生成、数据流图绘制、运维手册编写
文档运维
26
管道部署与编排
容器化（Docker/K8s）、蓝绿部署、滚动更新策略
K8s部署
27
数据管道审计
数据血缘追踪、操作日志记录、合规性检查（GDPR/SOX）
审计合规
28
高级主题：FPGA/GPU/AI
FPGA加速数据解析、GPU并行计算、AI预测性管道调优
FPGAAI
29
案例研究：高频做市商
Jump Trading/DRW模式、常见陷阱与最佳实践
案例最佳实践
30
未来趋势
Serverless数据管道、边缘计算、Web3.0去中心化数据管道
ServerlessWeb3