🚀 ONNX 调优实战
30 章 · 从入门到部署
🎯 风格 · 明快蓝绿
01
ONNX 基础认知
什么是ONNX
为什么需要
生态与工具链
→
02
模型导出与验证
PyTorch/TF导出
onnxruntime验证
常见错误排查
→
03
ONNX 模型结构解析
计算图与节点
张量&数据类型
元数据与版本
→
04
onnxruntime 入门
安装与配置
Session创建运行
CPU/GPU后端
→
05
推理模式详解
同步/异步
单例/批处理
动态/静态形状
→
06
性能基准测试
perf测量延迟
吞吐量QPS
内存/显存监控
→
07
图优化技术
常量折叠
算子融合
死代码消除
→
08
算子选择与替换
高开销算子识别
高效算子替代
自定义算子注册
→
09
量化基础
FP32/FP16对比
INT8量化原理
QAT与PTQ
→
10
量化实战
ORT量化工具
校准数据集
精度与性能权衡
→
11
精度调试
数值误差分析
逐层对比工具
精度回退策略
→
12
内存优化
内存池配置
张量复用
IOBinding
→
13
多线程与并发
线程池配置
并行执行
NUMA亲和性
→
14
GPU 加速
CUDA EP
TensorRT EP
混合精度推理
→
15
TensorRT 集成
ONNX转TensorRT
动态形状配置
INT8校准
→
16
OpenVINO 集成
OpenVINO EP
模型转换优化
CPU/VPU部署
→
17
CoreML 集成
Apple Silicon优化
CoreML EP
ANE加速
→
18
DML 集成
DirectML EP
Windows GPU加速
WSL支持
→
19
模型分割与流水线
模型分片策略
流水线并行
多设备协同
→
20
动态形状处理
动态轴配置
形状推理优化
padding技巧
→
21
输入输出优化
数据预处理加速
异步加载
零拷贝技术
→
22
会话管理
Session复用池化
多模型管理
热加载更新
→
23
日志与调试
ORT日志级别
性能剖析
Profiler使用
→
24
自定义算子开发
算子接口规范
C++实现注册
Python封装测试
→
25
模型加密与保护
模型加密方案
解密加载流程
安全与性能平衡
→
26
边缘设备部署
ARM CPU优化
NPU适配
内存受限调优
→
27
云端部署
容器化推理服务
弹性伸缩
GPU共享调度
→
28
性能监控与告警
实时指标采集
Prometheus集成
异常检测自愈
→
29
端到端案例一
图像分类调优
ResNet50 30ms→8ms
→
30
端到端案例二
NLP模型调优
BERT延迟降低50%
→