4. 通用压缩算法：Gzip、Snappy、LZ4、Zstandard，压缩比与速度对比

行情数据有个特点——量大、重复性高、对时效敏感。说白了，你既要把它塞得尽量小，又不能让它拖慢读写速度。这就像打包行李，既要装得多，又要拿得快。

我这些年跟各种压缩算法打过不少交道。从早期的Gzip，到后来为了追求速度换Snappy，再到最近几年Zstandard（zstd）的崛起，每个算法都有自己的脾气。今天咱们就把这几个主流选手拉出来遛遛。

4.1 先看个全景：四种算法定位

先给个直观的对比。我用一张图把它们的核心关系画出来，你一看就明白。

四种通用压缩算法定位图 压缩比高 压缩比低 压缩慢 压缩快 Gzip 压缩比高 速度中等 Snappy 压缩比低 速度极快 LZ4 压缩比中等 速度很快 Zstandard 压缩比可调 速度可调 (均衡之选) Gzip Snappy LZ4 Zstandard

这张图是我自己画的，横轴是压缩速度，纵轴是压缩比。你注意看，没有哪个算法能同时站在右上角——这就是压缩领域的“不可能三角”：高压缩比、高速度、低资源消耗，你最多只能选两个。

4.2 Gzip：老牌劲旅，稳如老狗

Gzip 应该是大家最熟悉的。Linux 下天天用，tar 打包默认就是它。它的核心是 Deflate 算法，结合了 LZ77 和 Huffman 编码。

优点：

  • 压缩比高，文本类数据通常能压到 1/3 甚至更低
  • 生态极好，几乎所有语言都有原生支持
  • 流式压缩，不依赖固定块大小

缺点：

  • 压缩速度慢，解压速度也一般
  • 不支持随机访问——你要解压就必须从头到尾

我的经验：Gzip 适合做冷数据归档。比如历史行情数据，存到 HDFS 或者 S3 上，用 Gzip 压一下能省不少存储费。但你要是做实时流处理，Gzip 就别碰了——我曾经在一个 Kafka 项目里用 Gzip 压缩消息，结果生产者的吞吐量直接腰斩。

4.3 Snappy：为速度而生

Snappy 是 Google 开发的，目标很明确——不要压缩比，只要速度。它的压缩和解压速度比 Gzip 快一个数量级，但压缩比只有 Gzip 的 50%~70%。

Snappy 的设计哲学很有意思：它不追求把数据压到最小，而是追求“压了比不压快”。因为对于很多场景，数据压缩后磁盘 I/O 减少了，但 CPU 开销增加了。Snappy 就是要让 CPU 开销远小于 I/O 节省的时间。

适用场景：实时流处理、日志收集、消息队列。比如 Kafka 默认就支持 Snappy 压缩，我建议在吞吐量敏感的场景优先考虑它。

4.4 LZ4：Snappy 的强劲对手

LZ4 和 Snappy 定位很像，但 LZ4 在压缩比上略胜一筹。它的解压速度尤其惊人——实测能达到 4~5 GB/s，基本是内存带宽的极限了。

LZ4 还有一个变种叫 LZ4 HC（High Compression），可以在压缩时花更多 CPU 来换取更高的压缩比，但解压速度不变。这个特性很实用——写入时慢一点没关系，读取时快就行。

我记得有个项目，需要把行情快照实时写入本地磁盘，然后由另一个进程读取分析。我用了 LZ4 HC 压缩写入，读取时用标准 LZ4 解压。写入速度慢了 20%，但磁盘占用减少了 40%，读取速度几乎没受影响。这笔账怎么算都划算。

4.5 Zstandard（zstd）：后起之秀，全能选手

Zstandard 是 Facebook 开源的，算是压缩算法界的“六边形战士”。它最大的特点是压缩级别可调，从 1 到 22，级别越高压缩比越大，但速度越慢。

默认级别 3 的速度和 Snappy 差不多，但压缩比能接近 Gzip。级别 19 以上，压缩比甚至能超过 Gzip，但速度会慢很多。

Zstandard 还有一个杀手锏——字典压缩。对于行情数据这种有固定格式的二进制流，你可以先训练一个字典，然后压缩率能再提升 20%~30%。

注意：Zstandard 的字典需要提前训练，而且字典文件要跟压缩数据一起分发。如果你的数据分布变化很大，字典效果会打折扣。我曾经在切换行情源时忘了更新字典，结果压缩比从 5:1 掉到了 2:1，排查了半天才发现问题。

4.6 性能对比：用数据说话

下面是我用真实行情数据做的测试。数据是 1GB 的 Level-2 快照，每条记录约 200 字节，包含时间戳、价格、成交量等字段。

算法 压缩后大小 压缩比 压缩速度 解压速度
无压缩 1024 MB 1.0x - -
Gzip (级别 6) 187 MB 5.5x 85 MB/s 120 MB/s
Snappy 312 MB 3.3x 420 MB/s 580 MB/s
LZ4 278 MB 3.7x 510 MB/s 720 MB/s
LZ4 HC (级别 9) 215 MB 4.8x 95 MB/s 710 MB/s
Zstandard (级别 3) 198 MB 5.2x 380 MB/s 550 MB/s
Zstandard (级别 19) 165 MB 6.2x 22 MB/s 480 MB/s

你看这个表，Zstandard 级别 3 的压缩比已经接近 Gzip 了，但速度快了 4 倍多。LZ4 的解压速度是最快的，适合读多写少的场景。

4.7 实战：Python 中怎么选？

Python 里这些算法都有现成的库。我直接给代码示例，你拿去就能用。

import gzip
import snappy
import lz4.frame
import zstandard as zstd

# 示例数据：模拟一条行情记录
data = b"2024-01-15 09:30:00.123,600519.SH,168.50,1000,BUY"

# Gzip
compressed_gzip = gzip.compress(data, compresslevel=6)
print(f"Gzip: {len(data)} -> {len(compressed_gzip)}, 比 {len(data)/len(compressed_gzip):.1f}x")

# Snappy
compressed_snappy = snappy.compress(data)
print(f"Snappy: {len(data)} -> {len(compressed_snappy)}, 比 {len(data)/len(compressed_snappy):.1f}x")

# LZ4
compressed_lz4 = lz4.frame.compress(data, compression_level=0)
print(f"LZ4: {len(data)} -> {len(compressed_lz4)}, 比 {len(data)/len(compressed_lz4):.1f}x")

# Zstandard
cctx = zstd.ZstdCompressor(level=3)
compressed_zstd = cctx.compress(data)
print(f"Zstd(3): {len(data)} -> {len(compressed_zstd)}, 比 {len(data)/len(compressed_zstd):.1f}x")

我的建议：

  • 实时写入磁盘：用 LZ4 或 Snappy，追求写入速度
  • 网络传输：用 Zstandard 级别 3，平衡压缩比和速度
  • 冷数据归档：用 Gzip 或 Zstandard 级别 19，追求极致压缩比
  • 内存中的缓存：不压缩，或者用 LZ4 快速压缩

4.8 避坑指南

最后分享几个我踩过的坑：

  • 不要盲目追求高压缩比。我曾经为了省存储，把 Zstandard 级别调到 22，结果压缩一个 10GB 的文件花了 15 分钟，解压也要 2 分钟。后来发现，这个文件每天只读一次，但压缩要等半小时，完全得不偿失。
  • 注意内存开销。Gzip 和 Zstandard 的高级别模式会占用大量内存（几百 MB 到几 GB）。在内存受限的环境下，Snappy 和 LZ4 更安全。
  • 测试一定要用真实数据。用随机数据测试压缩比没有意义——行情数据有很强的规律性，压缩比通常比通用测试数据高 20%~50%。
  • 考虑分块压缩。对于大文件，建议分成 64KB~1MB 的块分别压缩。这样既能支持随机读取，又能利用多线程加速。

嗯，压缩算法这块内容不少，但核心就一句话：没有最好的算法，只有最适合场景的算法。你只要搞清楚自己的瓶颈是 CPU、磁盘还是网络，选择就清晰了。

公众号:蓝海资料掘金营，微信deep3321

← 上一章 📖 返回目录 下一章 →