常见压缩算法对比：gzip、zstd、lz4、snappy性能与压缩率权衡
聊到行情数据压缩，我第一个要说的就是：没有银弹。
你想想看，行情数据有个特点——高频、量大、时效性极强。每秒几万笔 tick 数据进来，你要是压缩慢了，数据还没落地下一波就来了。但你要是压缩率太低，存储成本又扛不住。
所以，选压缩算法本质上是在做一道选择题：你要速度，还是要空间？
我个人习惯把压缩算法分成两派：
- 速度派：LZ4、Snappy —— 压缩和解压都快得离谱，但压缩率一般
- 空间派：gzip、zstd —— 压缩率能打，但速度上要付出代价
嗯，咱们一个一个来看。
gzip：老牌选手，稳定但慢
gzip 应该是大家最熟悉的压缩工具了。我在项目中最早用的就是它，因为几乎所有系统都原生支持，不用额外装库。
但说实话，gzip 在行情场景下有点吃力。它的压缩率确实不错，文本类数据能压到 20%~30% 左右。但速度嘛……我举个例子：
有一次我处理一天的 Level-2 快照数据，大概 50GB 的 CSV 文件。用 gzip 压缩花了将近 8 分钟，解压又花了 6 分钟。对于离线归档来说还能忍，但你要是做实时流处理，这个延迟就太要命了。
核心结论：gzip 适合冷数据归档，不适合高频实时场景。
LZ4：速度之王，压缩率垫底
LZ4 是我在实时行情处理中的首选。为什么？因为它快得离谱。
我记得有一次做性能测试，LZ4 的压缩速度能达到 500 MB/s 以上，解压速度更是飙到 1 GB/s 以上。什么概念？就是你还没感觉到延迟，数据已经压完了。
代价呢？压缩率确实一般。对于二进制行情数据，LZ4 通常只能压到原大小的 50%~60% 左右。但你要想，实时场景下我们最怕的是背压（backpressure），而不是磁盘不够用。所以这个取舍，我觉得值。
我的建议：如果你们系统对延迟敏感，比如做高频交易或者实时风控，LZ4 是首选。别纠结那点压缩率，先保证数据能跑起来。
Snappy：Google 出品，均衡之选
Snappy 是 Google 开发的，初衷就是为了在速度和压缩率之间找个平衡点。它的压缩速度比 LZ4 稍慢一点点，但压缩率能好一些。
我在项目中用过 Snappy 来压缩 Kafka 消息。当时每天要处理几十亿条行情消息，每条消息几百字节。用 Snappy 压缩后，消息体积减少了 40% 左右，但压缩和解压的 CPU 开销几乎可以忽略不计。
说白了，Snappy 是个「不挑食」的选手。你给它什么数据，它都能稳定输出，不会出现某些算法遇到特定数据就崩的情况。
注意：Snappy 的压缩率上限不高。如果你追求极致压缩，它可能不是最佳选择。但如果你需要稳定的性能和可预测的资源消耗，Snappy 很靠谱。
zstd：后起之秀，压缩率与速度兼得
zstd（Zstandard）是 Facebook 开源的，说实话，它是我最近两年最常用的压缩算法。
为什么？因为它太灵活了。zstd 提供了 1~22 的压缩级别，你可以根据场景自由调节。级别 1 的时候，速度和 LZ4 差不多；级别 19 的时候，压缩率能超过 gzip。
我曾经做过一个对比实验：用同一批行情 tick 数据，分别用 gzip -9 和 zstd -19 压缩。结果 zstd 的压缩率比 gzip 高了 15%，解压速度还快了 3 倍。你说气不气人？
我的经验：对于行情数据，我一般用 zstd 级别 3 或 5。这个区间性价比最高——压缩率不错，速度也跟得上。除非是冷数据归档，我才会开到级别 19。
性能与压缩率对比表
下面这张表是我自己跑过的测试数据，数据源是 1GB 的二进制行情 tick 文件：
| 算法 | 压缩后大小 | 压缩率 | 压缩速度 | 解压速度 |
|---|---|---|---|---|
| 无压缩 | 1024 MB | 100% | - | - |
| LZ4 | 512 MB | 50% | 520 MB/s | 1120 MB/s |
| Snappy | 460 MB | 45% | 380 MB/s | 780 MB/s |
| zstd (级别3) | 307 MB | 30% | 280 MB/s | 650 MB/s |
| zstd (级别19) | 225 MB | 22% | 45 MB/s | 620 MB/s |
| gzip (-6) | 256 MB | 25% | 65 MB/s | 210 MB/s |
你看，数据不会骗人。LZ4 和 Snappy 在速度上遥遥领先，但压缩率确实一般。zstd 在级别 3 的时候，压缩率已经接近 gzip，速度却快了 4 倍。而 gzip 呢？除了兼容性好，其他方面真的有点跟不上时代了。
如何选择？我的决策框架
说了这么多，到底怎么选？我一般按下面这个思路来：
- 实时流处理（延迟敏感）：选 LZ4 或 Snappy。别犹豫，速度第一。
- 离线批处理（存储成本敏感）：选 zstd 级别 3~5。性价比最高。
- 冷数据归档（极致压缩）：选 zstd 级别 19 或 gzip -9。反正不常读，慢点无所谓。
- 跨系统兼容：如果上下游系统不支持 zstd，那就老老实实用 gzip。兼容性也是一种成本。
避坑指南：我曾经在一个项目里全量用了 LZ4，结果发现归档数据太大，半年就把磁盘撑爆了。后来改成 zstd 级别 5，存储成本降了 40%，性能也没受太大影响。所以，别一刀切，不同场景用不同算法才是正解。
知识体系总览
下面这张图是我自己画的，帮你快速理清这四种算法的定位：
从这张图可以看得很清楚：zstd 是唯一一个能同时兼顾压缩率和速度的算法。它位于「高压缩率·快速度」区域，这也是为什么我越来越倾向于用它。
而 LZ4 和 Snappy 虽然压缩率一般，但在实时场景下，它们的速度优势无可替代。至于 gzip……嗯，它已经慢慢退到冷数据归档的角落了。
一句话总结：实时用 LZ4/Snappy，批处理用 zstd，归档用 gzip。别让算法成为你的瓶颈，也别让存储成本吃掉你的利润。
公众号:蓝海资料掘金营，微信deep3321