ONNX Runtime 在ARM设备上的优化实战 · 课程目录

01

ONNX Runtime 概述

什么是ORT为什么选择ARM场景

02

ARM设备环境准备

交叉编译链Linux配置OpenBLAS/NEON

03

ONNX Runtime 源码编译

源码编译ARM架构选项优化选项

04

ONNX模型导出与转换

PyTorch/TF导出结构分析验证工具

05

ONNX Runtime C++ API 基础

Session创建输入输出推理执行

06

ONNX Runtime Python API 基础

Python接口数据预处理基准测试

07

NEON加速OpenBLAS多线程并行

08

内存优化策略

内存池张量复用内存对齐

09

模型量化基础

FP32→FP16INT8量化量化感知训练

10

ONNX Runtime 量化工具

ORT量化工具校准数据集精度评估

11

Conv/MatMul/ReluARM优化算子融合

12

图优化技术

常量折叠算子融合子图替换

13

执行提供者 (EP)

CPU EPXNNPACKOpenVINO

14

XNNPACK介绍ARM集成性能对比

15

模型分割与异构计算

模型分层CPU/NPU协同流水线并行

16

动态形状处理

动态输入形状推断内存预分配

17

模型加密与安全

模型加密安全配置防窃取

18

性能分析工具

ORT profilingARM PMU火焰图

19

调试与日志

日志级别调试模式断点调试

20

多模型管理

热加载版本管理缓存策略

21

边缘端部署实战 · 树莓派4B+YOLOv5

YOLOv5部署性能调优功耗优化

22

手机端部署实战 · Android NDK

NDK集成JNI封装GPU加速

23

智能摄像头部署

视频流处理OpenCV集成实时推理

24

语音识别部署

语音模型优化流式推理端点检测

25

NLP模型部署 · BERT优化

BERT优化Tokenization序列长度处理

26

自定义算子开发

算子注册ARM汇编算子测试

27

ONNX Runtime 扩展

自定义EP自定义分配器日志回调

28

自动化编译单元测试性能回归

29

生产环境最佳实践

容器化监控告警灰度/回滚

30

未来趋势与总结

ORT RoadmapARM演进边缘AI趋势