📘 ONNX 端侧调优
30章 · 实战目录
⚡ 性能调优 · 友好色系
🏆 从基础到综合实战
📁 点击章节跳转对应 .html 文件
01
ONNX基础认知
什么是ONNX · 生态定位 · 为什么端侧需要ONNX
02
ONNX模型结构解析
计算图 · 节点 · 张量 · 初始器详解
03
ONNX算子集概览
常用AI算子与ONNX标准算子映射
04
模型导出与转换
PyTorch / TensorFlow / PaddlePaddle 转 ONNX
05
ONNX模型可视化
Netron查看结构 · 识别冗余节点与无效分支
06
端侧推理引擎选型
NCNN · MNN · TNN · Paddle Lite · TensorRT Lite
07
模型量化基础
FP32 / FP16 / INT8 量化原理与精度损失分析
08
端侧量化实战
ONNX Runtime 动态量化与静态量化
09
算子融合优化
Conv+BN融合 · Conv+Relu融合 原理与实现
10
常量折叠优化
固定输入预计算 · 减少运行时开销
11
模型剪枝与稀疏化
结构化剪枝 · 非结构化剪枝在ONNX上的应用
12
知识蒸馏
教师-学生模型 · 蒸馏后ONNX模型部署
13
内存优化
张量复用 · 内存池策略 · 减少峰值内存占用
14
计算图优化
节点消除 · 死代码消除 · 子图重写
15
多线程与异步推理
线程池配置 · Pipeline并行 · 异步回调
16
CPU推理优化
NEON指令集 · OpenMP多核 · Winograd卷积
17
GPU/NPU推理优化
OpenCL · Vulkan · Qualcomm Hexagon DSP
18
ONNX Runtime端侧部署
ORT Mobile配置 · Session选项调优
19
NCNN端侧部署
模型转换 · bin/param优化 · Vulkan加速
20
MNN端侧部署
模型转换 · 会话配置 · 后端选择(CPU/GPU/NPU)
21
TNN端侧部署
模型转换 · 优化选项 · 多模型管理
22
端侧性能Profiling
Perfetto · Systrace · Xcode Instruments 定位瓶颈
23
算子性能分析
逐算子耗时统计 · 热点算子识别与替换
24
端侧精度验证
余弦相似度 · PSNR · 相对误差计算与调优
25
模型分块与动态加载
超大模型分片 · 按需加载 · 内存卸载
26
端侧模型加密与安全
ONNX模型加密 · 运行时解密 · 防篡改
27
异构计算调度
CPU+GPU+NPU协同推理 · 任务自动切分
28
端侧Benchmark标准
建立性能基线 · 多设备对比 · 自动化测试
29
常见问题与避坑指南
算子不支持 · 精度异常 · 内存泄漏排查
30
综合实战
从PyTorch模型到端侧高性能推理全流程案例
✦ 风格 · 柔和果绿色系 ✦