端侧推理 · 批处理与流水线设计实战 · 课程目录

📚 课程目录 · 点击卡片跳转对应章节

🎯 从入门到实战

01

端侧推理概述

什么是端侧推理端侧 vs 云端挑战与机遇

02

批处理基础概念

批处理定义Batch Size影响吞吐量关系

03

流水线设计原理

流水线概念阶段划分深度与平衡

04

端侧硬件架构概览

CPU/GPU/NPU/DSP异构计算

05

模型量化与压缩

INT8/FP16量化剪枝蒸馏批处理影响

06

推理框架选型

TFLiteONNX RuntimeNCNN/MNN/TNN

07

单线程批处理实现

基础循环内存管理时间开销

08

多线程批处理优化

线程池任务队列同步互斥·负载均衡

09

异步批处理架构

异步I/O回调机制Future/Promise

10

静态批处理与动态批处理

固定Batch动态Batch实现策略

11

连续批处理 (Continuous Batching)

原理端侧LLM推理调度策略

12

请求调度算法

FIFO优先级调度最短作业优先·多级反馈

13

内存池设计与优化

预分配碎片管理缓存对齐·共享内存

14

计算图优化

图融合常量折叠算子替换·内存复用

15

算子级流水线

算子并行数据预取计算访存重叠

16

模型级流水线

模型分片多模型并行异构协同

17

数据预处理流水线

图像解码归一化数据增强流水线化

18

后处理流水线

结果解析NMS输出格式化

19

端侧实时推理系统设计

延迟约束帧率保证丢帧策略

20

功耗与性能平衡

DVFS核心绑核休眠唤醒·能效比

21

多模型串行推理

级联模型模型组合中间结果传递

22

多模型并行推理

模型并行数据并行资源共享管理

23

端侧推理冷启动优化

模型加载加速预热推理持久化缓存

24

动态形状处理

可变输入尺寸动态维度Padding策略

25

异常处理与容错

超时处理模型崩溃恢复降级策略

26

性能剖析与调优工具

Profiler热点分析瓶颈定位

27

端侧推理基准测试

延迟·吞吐量内存占用功耗测量

28

实战案例一：图像分类

批处理优化流水线优化

29

实战案例二：目标检测

实时流水线端侧设计

30

实战案例三：端侧LLM

连续批处理流水线推理