高频行情数据采集与处理技术

📚 共计 30 章节
01
高频数据概述
什么是高频行情数据 · 高频特点(高频率、大容量、低延迟)· 量化交易应用
概念入门
02
数据源与交易所接口
沪深交易所 · CTP · 币安 · FIX/FAST · WebSocket · UDP组播 · Level-1/2
接口协议
03
网络与硬件基础
低延迟网络 · NTP/PTP · FPGA · 网卡 · 服务器选型
硬件网络
04
数据采集架构设计
采集层·处理层·存储层 · 数据流管道 · 高可用与容错
架构设计
05
WebSocket行情采集实战
协议基础 · 连接/心跳 · 订阅/取消 · 数据解析与反序列化
WebSocket实战
06
UDP组播行情采集实战
UDP特点 · 组播地址/端口 · 数据包重组 · 丢包处理
UDP组播
07
FIX/FAST协议解析
FIX结构 · FAST编码 · 解码器实现 · 性能优化
FIXFAST
08
数据清洗与预处理
去重·去噪·异常检测 · 时间戳对齐 · 缺失值处理
清洗预处理
09
Tick级数据存储
时序数据库选型 · 列式存储 · 压缩算法 (InfluxDB/ClickHouse)
存储时序库
10
内存数据库与缓存
Redis应用 · 内存表结构 · 过期策略 · 持久化
Redis缓存
11
数据回放与模拟
回放架构 · 时间控制 · 模拟撮合 · 性能优化
回放模拟
12
实时计算框架
Flink/Spark Streaming · 事件时间 · 窗口计算
流计算Flink
13
Kafka消息队列
核心概念 · 分区副本 · 生产者/消费者优化 · Exactly-Once
Kafka消息
14
数据序列化与编码
Protobuf · FlatBuffers · Cap'n Proto · 零拷贝 · 内存布局
序列化编码
15
低延迟编程技巧
CPU亲和性 · 内存屏障 · 无锁数据结构 · 缓存行对齐
低延迟C++
16
C++与Python混合编程
pybind11 · 性能关键路径C++化 · GIL · 内存管理
混合编程pybind11
17
GPU加速数据处理
CUDA基础 · 并行归约 · GPU K线 · 延迟/吞吐权衡
GPUCUDA
18
FPGA在行情处理中的应用
FPGA基础 · 硬件解析 · 纳秒级处理 · 开发工具链
FPGA硬件
19
数据质量监控
延迟/丢包/完整性监控 · 告警系统 · 数据校验
监控质量
20
回测数据准备
历史数据清洗 · 复权 · 幸存者偏差 · 数据切分
回测数据
21
因子计算与存储
因子定义 · 增量计算 · 因子数据库 · 有效性检验
因子存储
22
K线生成算法
Tick转K线 · Volume-weighted · Renko · 存储优化
K线算法
23
订单簿重建
订单簿数据结构 · 增量更新 · 快照同步 · 深度图
订单簿深度
24
市场微观结构分析
买卖价差 · 订单流不平衡 · 信息比率 · 高频统计
微观结构分析
25
数据安全与合规
数据加密 · 访问控制 · 审计日志 · GDPR/证券法
安全合规
26
分布式数据采集系统
分布式架构 · 一致性哈希 · 数据分片 · 故障转移
分布式采集
27
性能测试与调优
基准测试 · Profiling · 瓶颈分析 · 调优案例
性能调优
28
数据可视化
实时仪表盘 · K线/深度图 · Plotly/Grafana · 延迟监控
可视化仪表盘
29
实战项目一:实时行情数据管道
从采集到存储到查询 · 端到端管道构建
实战项目
30
实战项目二:高频回测系统搭建
数据回放 + 策略模拟 + 绩效分析
实战回测