低延迟行情存储与回放系统实战

📚 共计 30 章节
01
行情系统概述
低延迟行情系统的定义、核心指标(延迟、吞吐量、抖动)、应用场景(高频交易、做市商)、系统整体架构概览。
定义指标架构
02
硬件与网络基础
CPU架构(NUMA)、内存层级(L1/L2/L3缓存)、网卡(Solarflare/Mellanox)、交换机、时钟同步(PTP/NTP)。
NUMA缓存PTP
03
操作系统调优
Linux内核参数调优(CPU隔离、中断亲和性)、内存大页(HugePages)、文件系统选择(XFS vs Ext4)、CPU频率与节能策略。
内核HugePages调优
04
网络协议栈优化
TCP vs UDP vs RDMA、零拷贝技术(DPDK、AF_XDP)、内核旁路、多队列网卡(RSS/RPS)。
RDMADPDK零拷贝
05
行情数据格式解析
标准协议(FIX/FAST/SBE)、二进制协议设计、内存对齐与字节序、序列化与反序列化性能对比。
FIXSBE序列化
06
内存管理技术
内存池设计、对象池、无锁队列(Lock-Free Queue)、内存屏障(Memory Barrier)、缓存行填充(Cache Line Padding)。
内存池无锁缓存行
07
无锁数据结构
无锁栈、无锁队列(MPSC/SPSC)、读写锁优化、RCU(Read-Copy-Update)机制。
MPSCRCU无锁
08
时间戳与时钟
高精度时钟源(TSC/HPET/ACPI_PM)、获取时间戳的代价、时间戳同步与校正、硬件时间戳(PTP)。
TSCPTP同步
09
多线程与并发
线程池设计、线程亲和性(pinning)、协程(ucontext/boost.fiber)、异步编程模型(Reactor/Proactor)。
线程池协程Reactor
10
行情网关设计
网关架构(接入层、协议层、分发层)、多路复用(epoll/io_uring)、连接管理、心跳与重连机制。
网关epollio_uring
11
行情数据分发
组播(Multicast)技术、TCP单播分发、共享内存分发、发布-订阅模式(Pub/Sub)。
组播共享内存Pub/Sub
12
行情存储引擎设计
存储架构(LSM-Tree vs B+Tree)、写入优化(WAL、批量写入)、读取优化(缓存、预读)、压缩算法(LZ4/Zstd)。
LSM-TreeWALLZ4
13
文件格式与存储
自定义二进制格式、Parquet/Arrow列式存储、内存映射文件(mmap)、文件分片与滚动策略。
Parquetmmap列式
14
索引与检索
时间戳索引、哈希索引、倒排索引、跳表(Skip List)、布隆过滤器(Bloom Filter)。
跳表布隆倒排
15
回放系统架构
回放引擎设计、时间控制(加速/减速/暂停)、事件驱动回放、状态恢复与快照。
回放时间控制快照
16
数据一致性
顺序保证(Sequence Number)、去重机制(Deduplication)、数据校验(Checksum)、故障恢复与数据修复。
去重校验故障恢复
17
性能测试与基准
延迟测试(ping-pong)、吞吐量测试、抖动分析、性能剖析工具(perf/FlameGraph)。
perfFlameGraph吞吐量
18
监控与告警
延迟监控(百分位延迟)、吞吐量监控、系统资源监控(CPU/内存/网络)、告警策略。
百分位监控告警
19
日志与调试
低延迟日志库(spdlog)、日志级别与异步写入、核心转储(Core Dump)分析、GDB调试技巧。
spdlogGDBCore Dump
20
容器化与部署
Docker容器化、Kubernetes编排、网络性能(Calico/Flannel)、资源限制(cgroups)。
DockerK8scgroups
21
FPGA加速
FPGA基础、行情解析加速、硬件时间戳、FPGA与CPU协同设计。
FPGA硬件加速协同
22
GPU加速
GPU基础、并行数据处理、GPU内存管理、行情计算加速(如期权定价)。
GPU并行期权定价
23
云原生行情
云环境挑战(虚拟化开销)、弹性伸缩、混合云部署、云原生存储(S3/EFS)。
云原生弹性S3
24
回放数据可视化
WebSocket实时推送、前端图表库(ECharts/Highcharts)、K线图与深度图、交互式回放控制。
EChartsWebSocketK线
25
回放数据API设计
RESTful API、WebSocket API、gRPC API、API版本管理与兼容性。
RESTgRPC版本管理
26
安全与权限
数据加密(TLS/AES)、访问控制(RBAC/ABAC)、审计日志、DDoS防护。
TLSRBAC审计
27
测试与质量保障
单元测试(Google Test)、集成测试、混沌工程(Chaos Engineering)、压力测试。
Google Test混沌工程压力
28
案例实战
A股Level-2行情系统、加密货币行情系统、外汇行情系统、期货行情系统。
Level-2加密货币外汇
29
性能优化实战
热点代码分析、编译器优化(-O3/LTO)、内联汇编、SIMD指令集(SSE/AVX)。
LTOSIMD内联汇编
30
未来趋势
AI驱动的行情预测、量子计算对行情系统的影响、6G网络与超低延迟、去中心化行情网络。
AI预测量子6G