1. ONNX基础认知：什么是ONNX、为什么需要ONNX、ONNX的生态与工具链概览

大家好，欢迎来到《ONNX模型推理性能调优实战》的第一课。

说实话，每次带新人做模型部署，我第一个问题总是：「你知道ONNX是什么吗？」

很多人会回答：「哦，就是那个中间格式嘛。」

嗯，对了一半。但ONNX远不止是一个「中间格式」。今天我们就把它彻底讲透。

1.1 什么是ONNX？

ONNX，全称是 Open Neural Network Exchange，开放神经网络交换格式。

说白了，它就是一个「模型翻译官」。你想想看，PyTorch训练出来的模型是.pt文件，TensorFlow是.pb文件，它们互相不认识。但ONNX就像个通用语言，让所有框架都能对话。

核心定义：ONNX是一种用于表示深度学习模型的开放标准格式。它定义了一套统一的算子集和计算图表示方法。

我个人习惯把ONNX比作「模型界的PDF」。你写Word文档，别人用WPS打开，格式可能乱。但如果你导出成PDF，谁打开都一样。ONNX就是这个作用——让模型在不同框架、不同硬件之间自由迁移。

我记得第一次接触ONNX是在2019年，当时要把一个PyTorch的ResNet模型部署到移动端。没有ONNX的话，我得手动重写一遍网络结构，那叫一个痛苦。有了ONNX，一行代码导出，直接跑在NCNN上，省了整整一周的工作量。

1.2 为什么需要ONNX？

你可能会问：「我就在PyTorch里训练，在PyTorch里推理，不也挺好？」

好问题。但现实世界没这么简单。

我列几个真实场景，你就明白了：

  • 场景一：训练用PyTorch，部署用TensorRT —— 你总不能把PyTorch模型直接塞给TensorRT吧？ONNX就是中间桥梁。
  • 场景二：团队协作 —— 算法组用PyTorch，工程组用ONNX Runtime，各干各的，互不干扰。
  • 场景三：硬件适配 —— 今天跑在NVIDIA GPU上，明天要跑在华为昇腾上。ONNX一导，换个后端就行。
  • 场景四：模型优化 —— ONNX提供了图优化、量化、剪枝等工具，比原始框架更灵活。

我的经验：曾经有个项目，模型在PyTorch上推理要200ms，转成ONNX后用ONNX Runtime跑，直接降到120ms。为什么？因为ONNX做了算子融合和内存优化。嗯，这就是ONNX的隐藏价值。

1.3 ONNX的生态与工具链概览

ONNX不是孤零零的一个格式，它背后有一套完整的工具链。我把它分成三大块：

1.3.1 模型导出与转换

工具 作用 我的评价
torch.onnx.export PyTorch模型转ONNX 最常用，但要注意动态轴设置
tf2onnx TensorFlow模型转ONNX 兼容性不错，偶尔踩坑
onnx.helper 手动构建ONNX图 调试用，日常不推荐

举个例子，PyTorch导出ONNX的代码长这样：

import torch
import torchvision.models as models

model = models.resnet18(pretrained=True)
dummy_input = torch.randn(1, 3, 224, 224)

torch.onnx.export(
    model,
    dummy_input,
    "resnet18.onnx",
    input_names=["input"],
    output_names=["output"],
    dynamic_axes={"input": {0: "batch_size"}, "output": {0: "batch_size"}}
)
print("导出成功！")

这里有个坑，我曾经踩过：动态轴。如果你不设置dynamic_axes，导出的ONNX只能接受固定batch size的输入。生产环境中，请求的batch size经常变化，所以一定要加上这个参数。

1.3.2 模型推理引擎

ONNX模型导出来，总得有个地方跑吧？主流的选择有：

  • ONNX Runtime —— 微软出品，跨平台，支持CPU/GPU，我最常用的推理引擎。
  • TensorRT —— NVIDIA的优化引擎，专为GPU设计，性能极致。
  • OpenVINO —— Intel的推理框架，适合CPU和集成显卡。
  • NCNN / MNN —— 移动端推理引擎，手机端部署首选。

注意：不是所有ONNX模型都能直接跑在TensorRT上。有些算子TensorRT不支持，需要回退到CPU或者手动替换算子。我建议导出ONNX后先用onnxruntime测试一遍，确保没问题再转TensorRT。

1.3.3 模型优化与调试工具

这部分是调优的核心，也是我们这门课的重点：

  • onnx-simplifier —— 简化ONNX图，去掉冗余节点。我每次导出后第一件事就是跑它。
  • onnxruntime-tools —— 提供量化、剪枝、图优化等功能。
  • Netron —— 可视化ONNX模型结构，调试必备。你拖进去一看，哪个节点是瓶颈一目了然。
  • onnx2trt —— 将ONNX转为TensorRT引擎，性能提升明显。

举个例子，用onnx-simplifier简化模型：

python -m onnxsim resnet18.onnx resnet18_simplified.onnx

就这么一行命令，模型大小可能减少10%-20%，推理速度也能提升。为什么？因为PyTorch导出时会产生很多冗余的Shape、Cast节点，简化器会把这些没用的东西统统干掉。

1.4 小结

好了，第一课的内容就到这里。我们讲了：

  • ONNX是什么 —— 一个开放、通用的模型交换格式
  • 为什么需要ONNX —— 跨框架、跨硬件、团队协作、性能优化
  • ONNX的生态工具链 —— 导出、推理、优化三大块

下一章，我们会手把手教你如何从PyTorch导出ONNX模型，并解决常见的导出问题。到时候我会分享一些我踩过的坑，保证让你少走弯路。

记住一句话：ONNX不是终点，而是起点。真正的性能调优，从ONNX开始才刚刚上路。

← 上一章 📖 返回目录 下一章 →