嵌入式设备大模型推理部署实战
📚 共计 30 章节
01
课程导论与硬件选型
为什么在嵌入式设备上跑大模型？主流AI芯片对比：Jetson、RK3588、树莓派、TPU，算力·内存·功耗权衡
硬件选型
Jetson
RK3588
02
开发环境搭建
交叉编译工具链、SSH远程开发、Python虚拟环境、ONNX Runtime/TFLite Runtime交叉编译
工具链
SSH
交叉编译
03
模型量化基础
FP32/FP16/INT8量化原理，对称与非对称量化，校准数据集概念
INT8
量化
校准
04
模型剪枝与蒸馏
结构化/非结构化剪枝，知识蒸馏教师-学生网络，嵌入式收益分析
剪枝
蒸馏
轻量化
05
ONNX模型导出与优化
PyTorch/TensorFlow导出ONNX，onnx-simplifier，动态轴与静态轴设置
ONNX
导出
优化
06
TFLite模型转换
Keras/SavedModel转TFLite，QAT与PTQ，Delegate机制
TFLite
QAT
Delegate
07
NVIDIA Jetson平台部署
JetPack SDK，TensorRT加速，trtexec工具，动态batch与INT8校准
Jetson
TensorRT
INT8
08
Rockchip RK3588平台部署
RKNN Toolkit安装，RKNN模型转换，NPU驱动与drm内存管理
RK3588
RKNN
NPU
09
树莓派与边缘TPU部署
Coral Edge TPU编译，PyCoral库，USB/M.2加速器
树莓派
Edge TPU
PyCoral
10
模型推理引擎对比
ONNX Runtime vs TFLite vs TensorRT vs OpenVINO，延迟与吞吐量基准测试
推理引擎
基准测试
11
内存优化技巧
内存池设计、共享内存、模型分片加载、内存映射文件(MMAP)
内存池
MMAP
优化
12
算子融合与图优化
算子融合原理，常量折叠，死代码消除，自定义算子注册
图优化
算子融合
13
多线程与异步推理
线程池设计，生产者-消费者模型，异步推理队列，超时处理
多线程
异步
线程池
14
流水线并行与模型拆分
模型层间拆分，pipeline并行，CPU-GPU异构计算
流水线
异构
并行
15
模型缓存与预热
模型加载缓存，推理结果缓存，模型预热(Warm-up)策略
缓存
预热
16
输入输出预处理优化
图像预处理加速(OpenCV vs VPI)，Tokenization优化，批处理Padding策略
预处理
OpenCV
VPI
17
低功耗推理策略
动态电压频率调整(DVFS)，推理频率控制，深度睡眠模式唤醒
低功耗
DVFS
睡眠
18
模型安全与加密
模型加密存储，TEE可信执行环境，安全启动链
加密
TEE
安全
19
远程推理与边缘计算
gRPC服务搭建，MQTT消息队列，WebSocket实时流
gRPC
MQTT
WebSocket
20
模型监控与日志
推理延迟监控，内存使用监控，异常检测与自动重启
监控
日志
异常检测
21
常见大模型适配
BERT、TinyLLaMA、MobileNet、YOLO-NAS在嵌入式端的适配经验
BERT
TinyLLaMA
YOLO
22
视觉模型部署实战
图像分类、目标检测、语义分割的完整部署流程
视觉
分类
检测
23
NLP模型部署实战
文本分类、命名实体识别、问答系统的嵌入式部署
NLP
文本分类
NER
24
多模态模型部署
CLIP、LLaVA等视觉-语言模型的轻量化部署方案
多模态
CLIP
LLaVA
25
模型版本管理与OTA升级
模型版本号管理，差分升级，回滚机制
OTA
版本管理
回滚
26
性能调优工具链
perf、gprof、NVIDIA Nsight、RKNN Profiler的使用与解读
perf
Nsight
Profiler
27
常见问题排查
内存泄漏检测、段错误定位、算子精度对比、性能瓶颈分析
调试
内存泄漏
段错误
28
边缘AI产品化
固件打包、看门狗设计、日志轮转、远程诊断
产品化
看门狗
固件
29
案例：智能门禁人脸识别
RK3588 + YOLO-Face + ArcFace 完整系统
门禁
YOLO-Face
ArcFace
30
案例：工业缺陷检测系统
Jetson Orin + YOLOv8 + 异常检测
缺陷检测
Jetson Orin
YOLOv8