📘 嵌入式平台模型部署性能评估手册
🎯 30章 · 从入门到前沿
📁
课程目录 · 点击章节跳转
⚡
硬件: Jetson / RK3588 / 树莓派 / TPU / NPU
🧩
工具: TensorRT · OpenVINO · TFLite · RKNN
01
嵌入式AI模型部署概述
边缘计算与嵌入式AI · 挑战与机遇 · 核心指标：延迟、吞吐量、功耗、内存占用
02
硬件平台选型与对比
主流芯片 Jetson/RK3588/树莓派/TPU/NPU · 算力功耗权衡 · 硬件加速器简介
03
模型量化基础
FP32 vs INT8 · 对称/非对称量化 · QAT与PTQ适用场景
04
模型转换与优化工具链
ONNX · TensorRT · OpenVINO · TFLite · RKNN · 安装配置与转换流程
05
性能基准测试方法论
测试负载定义 · 预热与稳态 · P50/P95/P99延迟 · 脚本规范
06
延迟指标详解
端到端/预处理/推理/后处理延迟拆解 · 测量方法 · 关键因素
07
吞吐量指标详解
FPS与QPS计算 · 批量大小影响 · 流水线并行与数据并行
08
内存占用分析
模型权重/激活值/运行时内存 · 碎片化 · 内存泄漏检测
09
功耗与热管理
功耗测量工具 · 负载曲线 · DVFS影响 · 散热设计制约
10
模型精度评估
量化精度损失 · Top-1/5 · mAP · BLEU 等任务指标
11
算子性能分析
Conv/MatMul/Pooling/Softmax 硬件差异 · 算子融合与访存优化
12
数据加载与预处理瓶颈
图像解码 · Resize/Normalize · 数据增强 · DMA与双缓冲
13
多线程与异步推理
线程池 · 生产者-消费者 · 异步推理接口 · 避免GIL锁
14
批处理策略
静态/动态批处理 · 延迟吞吐权衡 · Padding与序列化
15
模型剪枝与稀疏化
结构化/非结构化剪枝 · cuSPARSE · 硬件加速影响
16
知识蒸馏
教师-学生架构 · 蒸馏温度与损失 · 部署性能提升案例
17
TensorRT深度优化
动态形状 · INT8校准 · 层融合 · 多流执行
18
OpenVINO优化技巧
模型优化器参数 · InferRequest管理 · 异构执行
19
TFLite与Android NNAPI
Delegate机制 · GPU/NNAPI委托 · XNNPACK后端
20
RKNN与瑞芯微平台
模型转换量化 · NPU驱动与RGA协同 · 零拷贝技术
21
性能分析工具使用
Nsight Systems · perf · Valgrind · Arm MAP · 自定义计时器
22
Profiling与热点定位
火焰图 · 函数级耗时 · 内存分配热点 · I/O等待
23
端到端部署案例（图像分类）
PyTorch → TensorRT · 性能调优全流程 · FP32/FP16/INT8对比
24
端到端部署案例（目标检测）
YOLOv5/v8 ONNX导出 · TensorRT NMS插件 · 多尺度推理
25
端到端部署案例（语音识别）
Whisper/DeepSpeech TFLite部署 · 流式推理 · 实时性优化
26
端到端部署案例（NLP）
BERT/TinyBERT ONNX Runtime · 动态序列长度 · Attention内存优化
27
性能评估报告撰写
报告结构 · 可视化图表 · 对比基线设定
28
自动化测试与CI/CD集成
性能回归脚本 · Jenkins/GitLab CI · 阈值告警
29
常见性能瓶颈与调优案例
CPU-bound vs GPU-bound · 内存带宽 · 算子启动开销 · 模型加载优化
30
未来趋势与前沿技术
Transformer边缘部署 · Mamba/SSM · NAS与硬件协同 · 联邦学习