1、ONNX基础入门：ONNX是什么、为什么需要ONNX、ONNX的生态与工具链概览

1.1 ONNX到底是什么？

ONNX，全称是Open Neural Network Exchange。说白了，它就是一套深度学习模型的「通用语言」。

我刚开始做模型部署那会儿，最头疼的就是框架不兼容。PyTorch训练好的模型，想转到TensorRT上推理？得先转成ONNX。Caffe的模型想用ONNX Runtime跑？也得转成ONNX。你想想看，如果没有ONNX，每个框架都得写一套转换代码，那得多累。

ONNX本质上定义了一套标准化的计算图格式。它把神经网络中的算子（比如Conv、ReLU、BatchNorm）都做了统一规范。不管你是用PyTorch、TensorFlow还是Keras，只要导出成ONNX格式，大家就都能读懂。

1.2 为什么需要ONNX？

这个问题我经常被问到。其实原因很简单——深度学习生态太「碎」了。

训练阶段，大家喜欢用PyTorch，因为动态图调试方便。但到了部署阶段，PyTorch的推理效率往往不如TensorRT、OpenVINO这些专用引擎。那怎么办？总不能重新训练一遍吧？

ONNX就是来解决这个痛点的。它充当了「翻译官」的角色：

• 训练到部署的桥梁：PyTorch → ONNX → TensorRT，一条龙搞定
• 硬件适配的中间层：同一个ONNX模型，可以跑在CPU、GPU、NPU上
• 模型分发的标准格式：你给别人发模型，不用管他用什么框架，ONNX就对了

我记得有一次，客户要求模型必须跑在华为昇腾芯片上。PyTorch模型直接跑？不行。但转成ONNX后，昇腾的推理引擎就能完美支持。嗯，这就是ONNX的价值所在。

1.3 ONNX的生态与工具链概览

ONNX不是孤立的，它背后有一套完整的工具链。我把它分成几个层次：

1.3.1 模型导出工具

框架	导出方式	注意事项
PyTorch	torch.onnx.export()	动态形状需要设置dynamic_axes
TensorFlow	tf2onnx 工具	注意TF算子版本兼容性
Keras	keras2onnx	部分自定义层需要手动处理

1.3.2 推理引擎

ONNX模型导出后，用什么来跑？主流选择有：

• ONNX Runtime：微软出品，官方首选。支持CPU、GPU、甚至手机端
• TensorRT：NVIDIA的优化引擎，GPU推理性能极强
• OpenVINO：Intel的推理框架，对CPU优化很好
• ncnn / MNN：移动端推理引擎，也支持ONNX导入

你可能会问：「这么多引擎，我该选哪个？」我的建议是：先用ONNX Runtime做基准测试，如果性能不够，再考虑TensorRT或OpenVINO。别一上来就追求极致优化，先把流程跑通再说。

1.3.3 模型优化工具

ONNX模型导出后，往往还有优化空间。常用的工具有：

• onnx-simplifier：简化计算图，去掉冗余节点
• onnxoptimizer：做常量折叠、算子融合等优化
• onnxruntime-tools：量化工具，把FP32转成INT8

1.4 一个简单的ONNX导出示例

光说不练假把式。我们来看一个PyTorch模型导出ONNX的例子：

import torch
import torch.nn as nn

# 定义一个简单的模型
class SimpleModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv = nn.Conv2d(3, 16, 3)
        self.relu = nn.ReLU()
        self.pool = nn.AdaptiveAvgPool2d((1, 1))
        self.fc = nn.Linear(16, 10)
    
    def forward(self, x):
        x = self.conv(x)
        x = self.relu(x)
        x = self.pool(x)
        x = x.view(x.size(0), -1)
        x = self.fc(x)
        return x

model = SimpleModel()
model.eval()

# 创建示例输入
dummy_input = torch.randn(1, 3, 224, 224)

# 导出ONNX
torch.onnx.export(
    model,
    dummy_input,
    "simple_model.onnx",
    input_names=["input"],
    output_names=["output"],
    dynamic_axes={
        "input": {0: "batch_size"},
        "output": {0: "batch_size"}
    },
    opset_version=11
)

print("ONNX模型导出成功！")

注意这里的dynamic_axes参数。它告诉ONNX：这个模型的batch size是可变的。你传1张图也行，传32张图也行。这就是动态形状处理的基础。

1.5 小结

嗯，这一章我们聊了ONNX是什么、为什么需要它、以及它的生态工具链。说白了，ONNX就是深度学习模型的「通用接口」。掌握了它，你就能在训练和部署之间自由穿梭。

下一章，我们会深入探讨ONNX模型的结构——计算图、节点、张量这些概念。理解了这些，你才能真正驾驭ONNX。