ONNX模型在ARM平台优化实战 · 课程目录

01

ONNX与ARM平台概述

ONNX格式ARM特点优化必要性

02

ONNX模型结构解析

算子集图结构节点张量元数据

03

ONNX Runtime安装与配置

ARM Linux编译Python/C++ API

04

ONNX模型加载与推理

加载模型创建Session执行推理

05

ONNX模型可视化

Netron算子连接数据流

06

ONNX模型输入输出分析

名称形状数据类型动态形状

07

ONNX算子兼容性检查

ARM CPU算子不兼容排查替换

08

ONNX模型精度验证

对比输出精度阈值

09

ONNX模型简化与优化

onnx-simplifier去除冗余节点

10

ONNX常量折叠优化

编译期常量减少运行时计算

11

ONNX算子融合技术

Conv+BNGemm+Relu减少调用

12

ONNX模型量化基础

FP16INT8原理对称/非对称

13

ONNX Runtime量化工具

ORT量化API校准集精度评估

14

动态量化与静态量化

动态量化静态量化流程调优

15

ONNX模型剪枝

结构化剪枝非结构化ONNX实现

16

ONNX模型蒸馏

知识蒸馏ARM部署策略

17

ARM NEON指令集优化

NEON简介向量化ORT启用NEON

18

ARM CPU线程优化

线程数CPU亲和性OpenMP/TBB

19

ONNX Runtime执行提供者

CPU EPXNNPACKARM CL

20

XNNPACK后端优化

XNNPACK原理ARM配置性能对比

21

ARM Compute Library集成

ACL算子加速ORT启用ACL

22

ONNX模型内存优化

内存池张量复用减少拷贝

23

ONNX模型IO优化

预处理加速数据流水线

24

ONNX模型多线程推理

并行策略Batch推理单例

25

ONNX模型性能Profiling

ORT Profiling瓶颈分析

26

ONNX模型Benchmark

基准测试延迟/吞吐量分析

27

ONNX模型部署实战

ARM开发板应用集成

28

常见问题与调试

结果错误性能不达标内存泄漏

29

ONNX模型版本管理

版本控制IR兼容性模型注册

30

课程总结与进阶方向

ARM优化总结TVM/TFLite未来趋势