模型转换与优化：从训练到部署的关键一跃
说实话，模型训练出来只是第一步。真正让模型在嵌入式设备上跑起来，中间这层「转换与优化」才是硬骨头。我见过太多团队，模型精度刷得漂漂亮亮，一到转换就翻车。今天咱们就把这块掰开揉碎了聊。
ONNX中间表示：模型转换的「通用语言」
ONNX是什么？说白了就是模型界的「普通话」。不管你是PyTorch、TensorFlow还是其他框架训练出来的模型，都能转成ONNX格式。我个人习惯把ONNX当作中间桥梁，因为它几乎支持所有主流框架。
核心要点：ONNX不是最终部署格式，而是中间表示。它的价值在于「一次转换，多处部署」。
举个例子，我在项目中遇到过用PyTorch训练的模型，客户要求部署到TensorRT上。直接转TensorRT？不行。得先过ONNX这关。
# PyTorch转ONNX
import torch
import torch.onnx
model = torch.load('model.pth')
dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(model, dummy_input, 'model.onnx',
input_names=['input'],
output_names=['output'],
dynamic_axes={'input': {0: 'batch_size'},
'output': {0: 'batch_size'}})
嗯，这里要注意：dynamic_axes参数很关键。如果你部署时batch size固定，就别开动态轴，否则TensorRT后面优化会多出不少麻烦。
避坑指南：我曾经在ONNX转换时忽略了算子兼容性问题。比如PyTorch里的某些自定义操作，ONNX标准算子集里没有。结果转换出来的模型，推理结果全是错的。后来我养成了习惯：转换后先用ONNX Runtime跑一遍，验证输出是否一致。
TensorRT优化流程：NVIDIA的加速利器
TensorRT是NVIDIA家的看家本领。它能把模型优化到极致，尤其适合Jetson系列设备。你想想看，同样的模型，用TensorRT优化后，推理速度能快3-5倍，甚至更多。
优化流程大致分几步：
- 解析模型：读取ONNX或自定义格式
- 构建网络：TensorRT会做层融合、精度校准
- 生成引擎：序列化后的优化模型
- 推理执行：加载引擎跑推理
# TensorRT ONNX解析示例
import tensorrt as trt
TRT_LOGGER = trt.Logger(trt.Logger.WARNING)
builder = trt.Builder(TRT_LOGGER)
network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))
parser = trt.OnnxParser(network, TRT_LOGGER)
with open('model.onnx', 'rb') as f:
parser.parse(f.read())
config = builder.create_builder_config()
config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 << 30) # 1GB
serialized_engine = builder.build_serialized_network(network, config)
个人经验：我建议在构建引擎时，根据目标设备的显存大小合理设置workspace。设太大，低端设备跑不动；设太小，优化效果打折扣。Jetson Nano上我一般设512MB，Xavier上可以给到2GB。
TensorRT还有个杀手锏——INT8量化。它用校准数据集来降低精度损失。我记得有一次做目标检测，FP16模型精度掉了0.3%，但速度翻了一倍。值不值？你自己掂量。
OpenVINO模型转换：Intel生态的必杀技
如果你用的是Intel的CPU、VPU或者集成显卡，OpenVINO是绕不开的。它能把模型转换成中间表示（IR），然后利用Intel的硬件加速能力。
转换命令其实很简单：
# OpenVINO模型转换
mo --input_model model.onnx --output_dir ./ir_model --data_type FP16
但坑往往藏在细节里。比如输入输出的名字、形状，还有预处理方式。我遇到过最离谱的一次：模型在OpenVINO上跑出来的结果，跟原始模型完全对不上。查了半天，发现是输入数据的归一化方式不一样。
我曾经踩过的坑：OpenVINO的预处理层默认会做减均值除方差的操作。如果你的模型已经在训练时做过预处理，记得在转换时加上--mean_values和--scale_values参数，或者干脆关掉预处理。
TFLite转换与量化：移动端的首选
TFLite是TensorFlow针对移动端和嵌入式设备的轻量级方案。它支持多种量化方式，从FP32到INT8，甚至还有混合精度。
转换代码很直观：
import tensorflow as tf
# 转换并量化
converter = tf.lite.TFLiteConverter.from_saved_model('saved_model')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.float16]
tflite_model = converter.convert()
with open('model_quant.tflite', 'wb') as f:
f.write(tflite_model)
量化这块，我建议你根据硬件来选：
| 量化类型 | 精度损失 | 速度提升 | 适用场景 |
|---|---|---|---|
| FP32 | 无 | 1x | 精度优先 |
| FP16 | 几乎无 | ~2x | 有FP16支持的设备 |
| INT8 | 1-3% | ~4x | 资源受限设备 |
小技巧：INT8量化需要校准数据集。我一般从训练集中抽100-200张图片做校准，既保证代表性，又不会太慢。记得校准数据要覆盖各种场景，不然量化后模型在极端情况下会崩。
模型精度验证：别让优化毁了模型
这一步最容易被忽视，但恰恰最重要。你优化了半天，结果精度掉得一塌糊涂，那还不如不优化。
我的验证流程是这样的：
- 基准测试：用原始模型跑一遍测试集，记录精度
- 转换后测试：用ONNX Runtime或目标推理框架跑，对比输出
- 逐层对比：如果精度对不上，用
np.allclose逐层检查 - 端到端验证：在目标设备上跑完整pipeline
import numpy as np
# 精度对比
original_output = original_model(input_data)
converted_output = converted_model(input_data)
# 检查最大相对误差
max_error = np.max(np.abs(original_output - converted_output) /
np.maximum(np.abs(original_output), 1e-8))
print(f'最大相对误差: {max_error:.6f}')
# 分类任务检查top-1准确率
original_pred = np.argmax(original_output, axis=1)
converted_pred = np.argmax(converted_output, axis=1)
accuracy = np.mean(original_pred == converted_pred)
print(f'预测一致性: {accuracy*100:.2f}%')
核心原则：精度验证不是一次性的。每次修改模型结构、量化参数、预处理方式，都得重新验证。我习惯把验证脚本写成自动化流程，每次转换完自动跑一遍，省心。
好了，模型转换与优化这块就聊到这儿。说白了，这步就是「把训练好的模型，变成能在目标设备上高效运行的格式」。每一步都有坑，但只要你按流程来，多验证，问题不大。下一章咱们聊聊推理引擎的选择和调优，到时候见。