GPU计算单元 · 边缘AI部署
📍 30章实战
v2.0
01
边缘AI与GPU概览
边缘计算·AI推理·GPU角色·主流平台对比
02
边缘GPU硬件选型
Jetson·Movidius·Coral·算力功耗·成本
03
开发环境搭建
SDK Manager·JetPack·交叉编译·SSH
04
CUDA基础回顾
编程模型·内存层次·线程块·流与事件
05
TensorRT核心概念
推理优化·层融合·FP16/INT8·动态形状
06
模型转换与优化
PyTorch→ONNX→TensorRT·自定义层
07
ONNX Runtime部署
架构·C++/Python API·执行提供者
08
DeepStream SDK
视频管道·GStreamer·多流·元数据
09
模型量化实战
FP32→FP16→INT8·校准·精度评估
10
多模型并行推理
模型加载·内存管理·并发·流水线
11
边缘推理框架对比
TFLite·PyTorch Mobile·OpenVINO·NCNN
12
自定义算子开发
CUDA扩展·TensorRT插件·ONNX算子
13
内存优化技术
显存池化·零拷贝·复用·CPU-GPU协同
14
功耗与散热管理
DVFS·GPU时钟·温度监控·降频保护
15
实时性保障
延迟分析·中断·优先级·RT内核
16
多传感器融合
摄像头·激光雷达·IMU·GPU加速融合
17
模型安全与加密
模型加密·TEE·安全启动·防篡改
18
OTA更新策略
差分更新·A/B分区·回滚·原子性
19
容器化部署
Docker for Jetson·nvidia-docker·K3s
20
监控与日志
GPU利用率·温度·帧率·Grafana
21
故障诊断
错误码·日志分析·crash dump·回退
22
性能基准测试
MLPerf Edge·吞吐量·延迟·报告
23
边缘-云端协同
模型分割·边缘预处理·混合推理
24
联邦学习部署
联邦框架·模型聚合·差分隐私
25
自动驾驶案例
感知模型·多任务·BEV·端到端延迟
26
工业质检案例
缺陷检测·高分辨率·实时报警
27
智慧零售案例
目标检测·人脸识别·客流统计
28
机器人案例
SLAM·路径规划·抓取·ROS2
29
性能调优方法论
Profiling·瓶颈分析·迭代优化
30
未来趋势
存算一体·神经形态·RISC-V GPU·职业