第2章主流框架概览

2、主流框架概览：PyTorch、TensorFlow、ONNX、Caffe、TFLite 生态对比

做模型移植这些年，我接触过的框架少说也有七八个。每个框架都有自己的脾气，有的适合搞研究，有的专为移动端而生。今天咱们就聊聊这几个主流框架，看看它们到底有什么区别，什么时候该用谁。

PyTorch 现在有多火？这么说吧，我最近接到的项目，十有八九都是 PyTorch 训练的。为什么大家都爱用它？说白了就是「动态图」这个设计太香了。

你想想看，调试的时候可以随时 print 中间结果，断点打进去能看到每一层的输出。这在 TensorFlow 1.x 时代简直是奢望。我记得第一次用 PyTorch 时，那种「所见即所得」的感觉，真的让人上瘾。

核心优势：

不过 PyTorch 也有短板。它的推理部署生态相对分散，虽然现在有了 TorchScript 和 torch.compile，但跟 TensorFlow 的成熟部署链路比，还是差那么点意思。

说到部署，TensorFlow 绝对是老大哥。我最早做模型移植时，客户要求的就是 TensorFlow 格式。那时候 PyTorch 还没出生呢。

TensorFlow 的生态有多完整？从训练到量化，从剪枝到转换，一条龙服务。特别是 TFLite，专门为移动端和边缘设备优化，我在手机上跑过不少模型，效果都还不错。

我的经验：如果你要做大规模生产部署，TensorFlow 仍然是稳妥之选。它的 SavedModel 格式兼容性极好，各种推理引擎都支持。

但 TensorFlow 的学习曲线确实陡。我记得刚接触时，被它的静态图搞得晕头转向。不过现在有了 Eager Execution，情况好多了。

ONNX 是什么？说白了就是模型界的「普通话」。不管你是 PyTorch 还是 TensorFlow，都能转成 ONNX 格式，然后在不同的推理引擎上跑。

我在项目中遇到过最头疼的事：客户用 PyTorch 训练，但部署环境只支持 TensorFlow。怎么办？ONNX 就是救星。PyTorch → ONNX → TensorFlow，一条路走通。

注意：ONNX 不是万能的。有些算子转换会出问题，特别是自定义算子。我曾经花了两天时间，就为了调试一个 ONNX 转换失败的模型。所以，能用原生格式尽量用原生格式。

Caffe 现在用得少了，但它在某些领域还是有一席之地的。特别是工业界的老项目，很多还在用 Caffe。我记得有个做安防的客户，他们的模型全是 Caffe 格式，迁移起来那叫一个痛苦。

Caffe 的优点是什么？速度快，内存占用小。缺点也很明显：灵活性差，社区基本停滞了。如果你不是维护老项目，我建议别碰 Caffe。

TFLite 是 TensorFlow 的精简版，专门为手机、嵌入式设备设计的。它支持量化、委派（Delegate）加速，还能用 GPU 和 NPU。

我做过一个项目，要在树莓派上跑人脸检测模型。用 TFLite 量化后，模型大小从 50MB 压缩到 12MB，推理速度提升了 3 倍。嗯，这就是 TFLite 的魅力。

框架	训练友好度	部署成熟度	移动端支持	社区活跃度
PyTorch	★★★★★	★★★☆☆	★★☆☆☆	★★★★★
TensorFlow	★★★☆☆	★★★★★	★★★★★	★★★★☆
ONNX	★★☆☆☆	★★★★☆	★★★☆☆	★★★☆☆
Caffe	★★☆☆☆	★★★☆☆	★★☆☆☆	★☆☆☆☆
TFLite	★☆☆☆☆	★★★★★	★★★★★	★★★★☆

说了这么多，到底该选哪个？我个人习惯是这样的：

避坑指南：我曾经在一个项目中，为了追求「统一框架」，强行把所有模型都转成 ONNX。结果呢？转换过程中丢失了精度，调试花了两周。后来我学乖了：能用原生格式就用原生格式，ONNX 只做桥梁，不做主力。

好了，这一章就聊到这儿。下一章咱们深入聊聊 PyTorch 模型的导出和转换，这可是模型移植的第一步，也是最重要的一步。