第2章数据压缩基础理论

数据压缩基础理论：信息熵、无损与有损、压缩比与速度的权衡

各位同学，今天我们来聊聊数据压缩的底层逻辑。说实话，我刚入行做高频交易系统那会儿，对压缩的理解就是「把文件变小」。直到有一次，我负责的行情网关因为带宽打满，导致交易信号延迟了整整3毫秒——嗯，3毫秒在期货高频里，足够让一笔套利订单从盈利变成亏损。从那以后，我才真正开始认真研究压缩这件事。

先问大家一个问题：一个数据文件，理论上最多能压缩到多小？

1948年，香农老爷子给出了答案——信息熵。说白了，熵就是衡量数据「混乱程度」的指标。数据越随机，熵越高，越难压缩；数据越有规律，熵越低，压缩空间越大。

举个例子。假设我们有一串期货行情数据：

买入价: 100.01, 100.02, 100.01, 100.03, 100.02
卖出价: 100.05, 100.06, 100.05, 100.07, 100.06

你看，价格变化其实很小，大部分数据是重复的。这种数据的熵就很低。我算过，在Tick级行情里，相邻两个Tick的价格差通常只有几个最小变动价位，熵值大概在2-3比特左右。而如果是一段完全随机的噪声，熵值可能接近8比特甚至更高。

熵的计算公式长这样：

H(X) = -Σ P(xi) * log2(P(xi))

其中P(xi)是每个符号出现的概率。结果单位是比特/符号。这个值告诉你：无损压缩的下限就在这里。任何无损算法，都不可能低于这个值。我在项目中见过有人吹嘘自己的压缩算法能无限压缩——那基本是骗人的，除非他突破了热力学第二定律。

核心要点：信息熵是压缩的「天花板」。你只能无限接近它，永远无法超越它。高频交易数据因为高度结构化、重复性高，熵值通常较低，这给了我们很大的压缩空间。

接下来我们聊聊两种压缩方式。这个选择，在高频交易里特别关键。

无损压缩：压缩后能100%还原原始数据。常见的算法有：

游程编码（RLE）：把连续重复的数据替换成「值+重复次数」。比如"AAAAA"变成"5A"。我在处理逐笔成交数据时经常用这个，因为很多字段（比如交易所代码）重复率极高。
霍夫曼编码：给高频出现的符号分配短码，低频符号分配长码。说白了就是「常用字用短词，生僻字用长词」。我习惯在压缩完行情数据后，再套一层霍夫曼编码，通常能再压下去10%-15%。
LZ系列（LZ77/LZ78）：利用数据中重复出现的片段。比如一段行情数据里，买卖盘口的结构经常重复出现，LZ算法能识别并引用之前的片段。

有损压缩：牺牲部分精度换取更高压缩比。在高频交易里，这个要非常谨慎。我曾经见过一个团队，为了省带宽，把行情价格的小数位截断到小数点后两位——结果在股指期货套利时，因为精度丢失导致计算出的价差偏差了0.5个Tick，直接触发了一连串错误订单。

但有损压缩也不是完全不能用。比如：

警告：在期货高频交易中，价格、时间、订单编号这三个字段绝对不要做有损压缩。一分钱的误差，可能意味着几十万的盈亏。其他字段，如果你能100%确定下游逻辑能容忍误差，才考虑有损压缩。

这是实际工程中最头疼的问题。我直接说结论：没有最好的压缩算法，只有最适合场景的算法。

在高频交易系统里，我们面临一个三角矛盾：

我个人的经验是：解压速度比压缩速度重要得多。为什么？因为压缩是「写一次」，解压是「读无数次」。行情数据进来时压缩一次，但下游可能有十几个策略进程同时解压读取。所以我会优先选择解压快的算法。

给大家看一组我在实际项目中测过的数据（压缩对象：1GB的Tick级期货行情数据）：

算法	压缩比	压缩速度(MB/s)	解压速度(MB/s)
RLE	1.8:1	1200	1800
霍夫曼	2.5:1	350	500
LZ4	2.2:1	800	2200
zstd(level=1)	3.1:1	450	1100
gzip(level=6)	3.5:1	80	200

你看，gzip压缩比最高，但解压速度只有200MB/s。在千兆网络环境下，这根本不够用。而LZ4虽然压缩比只有2.2:1，但解压速度高达2200MB/s，完全能跑满万兆网卡。所以我个人习惯：实时行情用LZ4，历史数据归档用zstd。

小技巧：如果你不确定选哪个算法，先跑个基准测试。我每次接手新项目，都会拿真实行情数据跑一遍所有候选算法的压缩比和速度。别信网上的评测，你的数据特征决定了最终效果。

下面这张图，是我自己总结的数据压缩知识框架。你可以把它当作本章的「地图」：

这张图把本章的核心内容串起来了。从左到右：信息熵告诉我们压缩的极限在哪；无损和有损是两种路径；而最下面的权衡三角，是你在实际工程中每天都要面对的抉择。

好了，关于数据压缩的基础理论，我们就聊到这里。记住一句话：理解熵，选对算法，平衡速度与压缩比——这三点做好了，你的数据传输系统就成功了一半。