1、推理引擎概述：什么是推理引擎、推理引擎与训练框架的区别、主流推理引擎介绍
大家好，我是你们这门课的老朋友。今天咱们正式开篇，聊聊推理引擎到底是个什么东西。
说实话，我刚开始接触深度学习那会儿，也分不清训练和推理有啥本质区别。直到有一次，我把一个训练好的模型直接扔到生产环境里跑，结果延迟高得离谱，GPU显存还爆了。嗯，从那以后我才真正意识到——训练和推理，完全是两码事。
1.1 什么是推理引擎？
推理引擎，说白了就是一个专门用来跑模型的软件库。它负责把训练好的模型加载进来，然后高效地执行前向计算，输出预测结果。
你想想看，训练的时候我们用的是PyTorch、TensorFlow这些框架。它们功能很全，能自动求导、能分布式训练、能可视化。但到了生产环境，这些功能大部分都用不上了。你只需要一个东西——把输入变成输出，越快越好。
推理引擎就是干这个的。它把模型的计算图做各种优化，比如算子融合、内存复用、量化压缩，最终让模型跑得更快、占得更少。
核心要点：推理引擎 = 模型加载 + 计算图优化 + 高效执行
我个人习惯把推理引擎比作「赛车调校师」。训练框架造了一台性能不错的车，但推理引擎负责把这台车调到最适合赛道（生产环境）的状态——减重、调悬挂、优化进排气，让它在特定赛道上跑出最快圈速。
1.2 推理引擎与训练框架的区别
很多新手会问：我直接用PyTorch推理不行吗？当然行，但效率差太远了。我给大家列个表，一看就明白：
| 对比维度 | 训练框架（PyTorch/TF） | 推理引擎（TensorRT/ONNX Runtime） |
|---|---|---|
| 核心目标 | 快速迭代、自动求导 | 低延迟、高吞吐 |
| 精度要求 | FP32为主，追求精度 | 支持FP16/INT8，可接受精度损失 |
| 算子支持 | 全量算子，支持动态图 | 常用算子，静态图为主 |
| 内存占用 | 较高（保留梯度等中间变量） | 较低（可复用内存、消除冗余） |
| 部署方式 | 需要Python环境、GPU驱动等 | 可编译为独立二进制、支持边缘设备 |
| 典型场景 | 实验室、模型开发 | 云端服务、手机App、IoT设备 |
为什么会这样？我举个例子。训练时，PyTorch需要保留每个算子的中间结果，因为反向传播要用。但推理只需要前向，这些中间结果完全可以扔掉。推理引擎就会做这种「剪枝」——把不需要的东西全砍掉，内存自然就省下来了。
我记得有一次，一个同事把训练好的BERT模型直接拿来做在线服务，结果单次推理要200ms，QPS上不去。后来换成ONNX Runtime + FP16量化，延迟直接降到40ms，吞吐量翻了5倍。这就是推理引擎的价值。
避坑指南：我曾经见过有人把训练框架的batch size设成1来模拟推理，结果发现GPU利用率极低。这是因为训练框架默认做了很多「无用功」。记住：训练框架不是为推理设计的，别拿它当推理用。
1.3 主流推理引擎介绍
市面上推理引擎不少，但真正经得起生产考验的，也就那么几个。我挑三个最常用的给大家讲讲。
1.3.1 TensorRT
TensorRT是NVIDIA的亲儿子，专门针对自家GPU做极致优化。如果你用的是NVIDIA显卡，那TensorRT基本是首选。
它的核心优化手段包括：
- 算子融合：把Conv+BN+ReLU这种常见组合合并成一个算子，减少Kernel启动开销
- 精度校准：支持FP16和INT8量化，通过校准数据集最小化精度损失
- 动态张量：支持动态输入尺寸，不用固定batch size
- 内存池化：复用显存，避免频繁分配释放
我个人的经验是，TensorRT对CNN模型的加速效果特别明显，一般能到2-4倍。但对Transformer模型，效果就没那么夸张了，大概1.5-2倍。不过配合FP16，还是能省不少显存。
注意：TensorRT的算子覆盖不是100%的。有些冷门算子可能不支持，需要自己写Plugin。我踩过这个坑——一个自定义的激活函数，TensorRT不认识，折腾了两天才搞定。所以用之前，先检查一下你的模型里有没有「奇奇怪怪」的算子。
1.3.2 ONNX Runtime
ONNX Runtime是微软开源的推理引擎，主打跨平台、多后端。它支持CPU、GPU、甚至手机端的NPU。
它的优势在于：
- 模型格式统一：ONNX是开放标准，PyTorch、TF、Paddle都能导出
- 执行提供者（Execution Provider）：可以切换不同的后端，比如CPU上用MLAS，GPU上用CUDA，手机上用NNAPI
- 图优化：自动做常量折叠、节点消除、维度推导等
- 量化工具：内置INT8/UINT8量化，支持动态量化和静态量化
说实话，ONNX Runtime是我用得最多的推理引擎。原因很简单——省心。模型转成ONNX后，基本不用改代码，换个后端就能跑。而且它对PyTorch的支持越来越好，现在几乎能做到「一键导出」。
我记得有个项目，客户要求同时支持Windows和Linux，还要在CPU和GPU上都能跑。用TensorRT的话，得维护两套代码。换成ONNX Runtime，一套代码搞定，后端配置改个参数就行。
小技巧：ONNX Runtime支持session_options.graph_optimization_level参数，可以控制优化强度。我一般设成ORT_ENABLE_EXTENDED，效果最好。但如果你遇到奇怪的推理错误，可以先降到ORT_ENABLE_BASIC排查问题。
1.3.3 OpenVINO
OpenVINO是Intel家的推理引擎，主要针对Intel的CPU、集成显卡和VPU（视觉处理单元）。
它的特点：
- CPU优化极强：利用Intel的MKL-DNN和AVX指令集，CPU推理速度能接近GPU
- 模型压缩：支持INT8量化，对CPU推理特别友好
- 异构执行：可以把不同算子分配到不同硬件上，比如CPU+GPU混合跑
- 支持传统CV：内置OpenCV，适合做图像预处理和后处理
说实话，OpenVINO在服务器端用得不多，但在边缘计算和工业场景里很常见。比如工厂里的质检设备，用的就是Intel的CPU，没有独立显卡。这时候OpenVINO就是最佳选择。
我有个朋友做安防项目，摄像头端用的是Intel的NUC，跑人脸检测模型。用OpenVINO优化后，CPU占用从80%降到了30%，帧率还翻了一倍。这就是硬件厂商做优化的威力。
避坑指南：我曾经试过把PyTorch模型直接转OpenVINO，结果报了一堆算子不支持的错误。后来发现，OpenVINO对ONNX的支持最好。所以我的建议是：PyTorch → ONNX → OpenVINO，这条路径最稳。
1.4 如何选择推理引擎？
没有最好的推理引擎，只有最适合的。我给大家一个简单的选择思路：
- 用NVIDIA GPU → TensorRT（性能优先）或 ONNX Runtime（兼容性优先）
- 用Intel CPU/集成显卡 → OpenVINO
- 跨平台、多后端 → ONNX Runtime
- 手机端/边缘设备 → 看具体硬件，比如高通用SNPE，华为用MindSpore Lite
- 不想折腾 → ONNX Runtime，社区活跃，文档齐全
我个人习惯是：先用ONNX Runtime做原型验证，确认模型能跑通、精度没问题。然后根据部署环境，再决定要不要换成TensorRT或OpenVINO做极致优化。这样既保证了开发效率，又能在生产环境拿到最佳性能。
好了，这一章就到这里。下一章我们开始动手——从PyTorch模型导出到ONNX，这是所有推理引擎工作的第一步。到时候我会手把手带大家走一遍，顺便讲讲那些年我踩过的坑。