CUDA & TensorRT 边缘部署

📍 30章 · 实战目录 🚀
01 CUDA入门
GPU架构概述 CUDA编程模型 环境搭建与工具链
➜
02 CUDA编程基础
核函数(Kernel) 线程层次结构 内存模型简介
➜
03 CUDA内存管理
全局内存 共享内存 常量/纹理内存
➜
04 CUDA流与事件
异步操作 流(Stream)同步 事件(Event)计时
➜
05 CUDA性能优化
内存访问模式 占用率调优 指令级并行
➜
06 CUDA库入门
cuBLAS矩阵运算 cuFFT快速傅里叶 Thrust模板库
➜
07 TensorRT入门
推理优化原理 层融合/精度校准 TensorRT安装
➜
08 TensorRT模型构建
ONNX解析器 C++/Python API 网络层详解
➜
09 TensorRT模型优化
FP16/INT8量化 动态形状 工作空间设置
➜
10 TensorRT推理引擎
构建引擎(Builder) 序列化/反序列化 运行时执行
➜
11 TensorRT插件开发
自定义层IPluginV2 插件注册与使用 性能调试
➜
12 TensorRT高级特性
多流推理 DLA加速器 稀疏推理
➜
13 边缘计算平台概述
Jetson系列 树莓派+GPU Intel Movidius
➜
14 Jetson平台环境搭建
JetPack SDK CUDA/cuDNN/TensorRT 电源模式设置
➜
15 Jetson性能调优
CPU/GPU/内存频率 散热管理 功耗限制
➜
16 模型压缩技术
剪枝(Pruning) 知识蒸馏 权重共享
➜
17 模型量化实战
PTQ与QAT 校准数据集 量化感知训练
➜
18 ONNX模型转换
PyTorch/TF转ONNX 算子兼容性 ONNX-Simplifier
➜
19 TensorRT端到端部署
训练→导出→优化 序列化→推理 完整案例
➜
20 多模型流水线
串行/并行推理 共享内存管理 Pipeline设计
➜
21 视频流处理
GStreamer/FFmpeg GPU加速视频 NvJPEG/NvDecode
➜
22 实时推理系统
低延迟设计 批处理策略 异步推理框架
➜
23 边缘端推理服务
gRPC/RESTful API 模型版本管理 负载均衡
➜
24 监控与日志
性能指标采集 日志系统设计 异常告警
➜
25 安全与隐私
模型加密 TEE可信执行 联邦学习边缘
➜
26 实战：图像分类
ResNet/MobileNet Jetson部署 优化与调优
➜
27 实战：目标检测
YOLOv5/YOLOv8 Jetson部署 性能优化
➜
28 实战：语义分割
UNet/DeepLab Jetson部署 优化技巧
➜
29 实战：NLP模型
BERT/TinyBERT 边缘端部署 推理加速
➜
30 综合项目
边缘AI推理系统 数据采集/推理 结果展示
➜
📢 ： ｜