1、ONNX基础认知：什么是ONNX、为什么需要ONNX、ONNX的生态与优势
各位同学，咱们今天聊聊ONNX。说实话，我第一次接触ONNX的时候，心里也犯嘀咕：这玩意儿到底能干啥？后来在项目中踩过几次坑，才真正体会到它的价值。嗯，咱们一步步来。
1.1 什么是ONNX？
ONNX，全称是Open Neural Network Exchange，翻译过来就是「开放神经网络交换格式」。说白了，它就是一种中间表示格式，用来描述深度学习模型的结构和参数。
你可以把它想象成一种「通用语言」。不同框架（PyTorch、TensorFlow、Keras等）都有自己的「方言」，而ONNX就是那个能让它们互相沟通的「普通话」。
核心要点：ONNX不是一个新的训练框架，也不是一个推理引擎。它只是一个模型描述格式，一个中间桥梁。
举个例子。我在项目中用PyTorch训练了一个图像分类模型，但客户的生产环境用的是TensorFlow Serving。如果没有ONNX，我得手动把PyTorch的权重和结构翻译成TensorFlow的格式，那叫一个痛苦。有了ONNX，我只需要把PyTorch模型导出成ONNX格式，然后在TensorFlow里加载就行了。
1.2 为什么需要ONNX？
你可能会问：我一直在用PyTorch，为啥要折腾ONNX？
原因很简单：现实世界是复杂的。
- 团队协作问题：我见过一个团队，算法组用PyTorch，工程组用TensorFlow，每次模型交接都要吵一架。ONNX就是那个和事佬。
- 部署环境限制：有些嵌入式设备只支持ONNX Runtime，或者只对ONNX格式做了优化。你训练得再好，部署不上去也是白搭。
- 模型优化需求：ONNX生态里有大量工具可以做量化、剪枝、图优化。这些工具往往比框架自带的更成熟。
我的经验：有一次做移动端部署，模型在PyTorch里跑得飞快，但转到手机端就慢得不行。后来用ONNX做了一次量化，推理速度提升了3倍，而且精度只掉了0.5%。嗯，这就是ONNX的价值。
说白了，ONNX解决的是「模型锁死」的问题。你不想被某个框架绑架，对吧？
1.3 ONNX的生态与优势
ONNX不是孤军奋战，它背后有一个庞大的生态圈。我把它分成三块：
1.3.1 框架支持
几乎所有主流框架都支持导出ONNX格式：
| 框架 | 支持方式 | 成熟度 |
|---|---|---|
| PyTorch | torch.onnx.export() | ★★★★★ |
| TensorFlow | tf2onnx 工具 | ★★★★☆ |
| Keras | keras2onnx | ★★★★☆ |
| Scikit-learn | skl2onnx | ★★★☆☆ |
1.3.2 推理引擎
ONNX模型可以在多种推理引擎上运行：
- ONNX Runtime：微软出品，性能极佳，支持CPU/GPU/NPU
- TensorRT：NVIDIA的优化引擎，对ONNX支持很好
- OpenVINO：Intel的推理框架，也支持ONNX
- CoreML：Apple的框架，可以从ONNX转换
注意：虽然ONNX是通用格式，但不同引擎对算子支持程度不同。我曾经在ONNX Runtime上跑得好好的模型，转到TensorRT就报错，原因是某个自定义算子不支持。所以，选引擎之前一定要先验证算子兼容性。
1.3.3 工具链
ONNX生态里还有一些非常实用的工具：
- Netron：可视化ONNX模型结构，调试必备
- ONNX Simplifier：简化模型结构，去掉冗余节点
- ONNX Optimizer：做图级别优化，比如常量折叠、节点融合
- ONNX Runtime：除了推理，还提供性能分析工具
我个人习惯用Netron先看一眼模型结构，确认输入输出对不对，然后再用Simplifier做一次简化。这一步能省掉很多后续的麻烦。
1.4 一个简单的例子
咱们用PyTorch导出一个ONNX模型看看：
import torch
import torchvision.models as models
# 加载一个预训练的ResNet18
model = models.resnet18(pretrained=True)
model.eval()
# 创建一个示例输入
dummy_input = torch.randn(1, 3, 224, 224)
# 导出ONNX
torch.onnx.export(
model, # 模型
dummy_input, # 示例输入
"resnet18.onnx", # 输出文件名
input_names=["input"],
output_names=["output"],
dynamic_axes={
"input": {0: "batch_size"},
"output": {0: "batch_size"}
}
)
print("ONNX模型导出成功！")
这段代码很简单，但有几个点要注意：
- model.eval()：一定要切换到评估模式，否则BatchNorm和Dropout会出问题
- dummy_input：形状要和实际输入一致，包括batch size
- dynamic_axes：如果你需要动态batch size，这里要设置
避坑指南：我曾经忘记设置dynamic_axes，结果导出的模型只能接受固定batch size。上线后发现并发请求一多就报错，排查了半天才发现是这个问题。嗯，吃一堑长一智。
1.5 小结
ONNX说白了就是一个模型格式的「翻译官」。它让你不用被某个框架绑死，可以在不同工具之间自由切换。虽然它也有自己的坑（比如算子兼容性），但总体来说，它是深度学习工程化中不可或缺的一环。
下一章，咱们会深入ONNX的模型结构，看看它内部到底长什么样。到时候我会带大家用Netron看几个实际案例，保证让你豁然开朗。