高频交易数据压缩与传输实战 · 课程目录

📚 共30章 · 30个实战文件 ⏱️ 纳秒级 · TB级数据 友好色系 🎨

01

高频交易数据概述定义·特征

高频交易定义、纳秒级时间戳、订单簿快照、每日TB级量级估算

02

数据压缩基础理论熵·香农

信息熵、香农定理、无损/有损取舍、压缩比与吞吐量平衡

03

Python环境与工具链Anaconda

Anaconda配置、NumPy/Pandas安装、Cython与Numba初识

04

二进制数据格式入门struct

struct打包/解包、字节序、定长与变长编码

05

高效数据容器memoryview

array模块、bytes/bytearray、memoryview零拷贝操作

06

NumPy内存优化ndarray

dtype选择、内存对齐、视图与副本区别

07

Pandas数据压缩Parquet

category类型、稀疏结构、Parquet底层原理

08

时间戳压缩技术Gorilla

相对时间戳、增量编码、delta-of-delta算法

09

浮点数压缩XOR·Chimp

XOR编码、Facebook Gorilla算法、Chimp简介

10

整数压缩算法Varint

Varint、Simple-8b、Group Varint、Stream VByte

11

字典压缩LZ4·Snappy

重复字符串字典映射、LZ4与Snappy快速压缩

12

列式存储与压缩Arrow

Apache Arrow、列式布局、SIMD位打包

13

Blosc压缩库Shuffle

元编码器、Shuffle过滤器、NumPy应用

14

Zstandard (zstd) 实战字典训练

压缩级别、字典训练、流式压缩/解压

15

LZ4极致速度HC模式

LZ4块格式、HC模式、实时系统应用

16

数据序列化协议Protobuf

Protocol Buffers、FlatBuffers、Cap'n Proto对比

17

内存映射文件 (mmap)零拷贝

零拷贝加载、大文件分片、与压缩结合

18

多线程与并行压缩Joblib

GIL影响、多进程Pool、Joblib并行压缩

19

GPU加速压缩RAPIDS

CuPy/RAPIDS、GPU LZ4/Snappy、端到端延迟

20

网络传输基础ZeroMQ

TCP_NODELAY、Socket调优、ZeroMQ入门

21

UDP与多播FEC

低延迟UDP、多播管理、前向纠错

22

RDMA与InfiniBand绕过内核

远程直接内存访问、量化交易应用

23

WebSocket与二进制帧实时推送

WebSocket协议、二进制帧封装、行情推送

24

数据分片与重组乱序重排

固定/可变分片、序列号校验、乱序重排

25

压缩流式处理背压机制

管道模式、背压、异步压缩与传输

26

端到端延迟测量PTP

精确时间同步、纳秒打点、延迟直方图

27

数据校验与完整性CRC·xxHash

CRC32、xxHash、Adler32、端到端校验

28

实战项目一：Tick压缩管道CSV→Parquet

构建高频Tick数据压缩管道 (原始CSV到压缩Parquet)

29

实战项目二：行情压缩转发ZeroMQ+LZ4

实时行情压缩转发系统 (ZeroMQ + LZ4)

30

性能调优与监控Profiling

CPU Profiling、内存分析、吞吐量基准测试、生产部署