🚀 嵌入式GPU · 推理加速
30章 实战目录
📘 Jetson / 瑞芯微 / 算能
1
01
嵌入式GPU概述
什么是嵌入式GPU · Jetson/瑞芯微/算能 · GPU vs CPU vs NPU
2
02
深度学习推理基础
推理与训练区别 · 前向传播 · TensorRT/ONNX Runtime/OpenCV DNN
3
03
开发环境搭建
JetPack SDK · CUDA/cuDNN · 交叉编译 · PyTorch/TensorFlow
4
04
模型导出与ONNX
PyTorch/TF导出 · 算子兼容性 · ONNX-Simplifier优化
5
05
TensorRT核心概念
工作流 · Engine/Plan · Builder/Config/Runtime · FP32/FP16/INT8
6
06
TensorRT模型转换
onnx-tensorrt · trtexec · Python API · 动态shape
7
07
INT8量化原理
对称/非对称量化 · 校准数据集 · KL散度 · QAT简介
8
08
TensorRT INT8实战
INT8校准器 · 校准缓存 · 精度评估 · 混合精度推理
9
09
多流与异步推理
CUDA Stream · 多流并行 · enqueueV2 · CPU/GPU协同
10
10
内存优化策略
显存池化 · 内存复用 · Pinned Memory · 零拷贝
11
11
模型剪枝与稀疏化
结构化/非结构化剪枝 · NVIDIA ASP · 稀疏矩阵 · 微调
12
12
知识蒸馏
教师-学生 · 软标签/温度 · 蒸馏损失 · 嵌入式应用
13
13
算子融合与图优化
层融合 · 常量折叠 · 死代码消除 · 垂直/水平融合
14
14
NVIDIA DALI数据加载
DALI安装 · 图像解码增强 · 混合流水线 · TensorRT集成
15
15
多模型流水线
串行/并行 · Pipeline设计 · 共享显存 · 延迟/吞吐量
16
16
动态batch与动态shape
动态batch实现 · shape处理 · Optimal Profile · 性能影响
17
17
Jetson平台性能调优
nvpmodel · jetson_clocks · 频率协同 · 散热管理
18
18
Profiling与性能分析
Nsight Systems/Compute · TensorRT Profiling · 瓶颈定位
19
19
OpenCV DNN模块
读取模型 · CPU/GPU/CUDA后端 · 性能对比 · 适用场景
20
20
ONNX Runtime加速
Execution Provider · CUDA/TensorRT EP · 会话优化
21
21
Triton Inference Server
Triton架构 · 模型仓库 · 并发执行 · 动态batch
22
22
DeepStream SDK
DeepStream架构 · GStreamer插件 · 视频解码推理 · 多路分析
23
23
模型部署安全
模型加密/混淆 · Secure Boot · TEE · 防止窃取
24
24
边缘端模型更新
OTA更新 · 模型版本管理 · A/B测试 · 回滚方案
25
25
多模态模型推理
视觉+语言部署 · 特征融合 · 内存优化 · 端到端延迟
26
26
Transformer模型加速
Attention优化 · FlashAttention · KV Cache · TensorRT-LLM
27
27
YOLO系列模型部署
YOLOv5/v8/v10导出 · NMS加速 · 后处理 · 端到端部署
28
28
实时视频分析案例
检测+跟踪 · DeepStream集成 · 帧率优化 · 多路负载
29
29
工业缺陷检测案例
数据采集标注 · 训练量化 · 边缘部署 · 精度速度平衡
30
30
课程总结与展望
技术路线图 · FAQ · 端侧大模型 · 存算一体 · 学习资源