GPU深度学习推理加速器设计实战

📘 30章 · 从入门到前沿
01 GPU推理加速器概述
推理 vs 训练 专用加速器 GPU角色
进入章节 →
02 深度学习基础回顾
卷积/池化 激活函数 计算图
进入章节 →
03 GPU架构基础
CUDA Core Tensor Core Warp/SIMT
进入章节 →
04 推理加速关键技术
INT8/FP16量化 算子融合 内存复用
进入章节 →
05 TensorRT核心概念
Builder/Config Engine/Context 序列化
进入章节 →
06 ONNX与模型转换
ONNX格式 PyTorch/TF Simplifier
进入章节 →
07 TensorRT模型构建
Network API 卷积/全连接 激活层
进入章节 →
08 INT8量化实战
校准集 Entropy/MinMax 精度调优
进入章节 →
09 算子融合与图优化
垂直/水平融合 层消除 常量折叠
进入章节 →
10 动态形状处理
动态Batch Profile设置 优化Profile
进入章节 →
11 多流与并发推理
CUDA Stream MPS/MIG 多流实现
进入章节 →
12 内存管理与池化
显存分配 Pinned Memory Unified Memory
进入章节 →
13 推理精度分析
FP32/FP16/INT8 精度损失评估 混合精度
进入章节 →
14 自定义算子实现
Plugin接口 注册/序列化 性能调优
进入章节 →
15 Transformer推理优化
Attention优化 KV Cache Flash Attention
进入章节 →
16 卷积计算优化
Im2Col+GEMM Winograd FFT/稀疏卷积
进入章节 →
17 稀疏化与剪枝
结构化剪枝 稀疏矩阵 稀疏Tensor Core
进入章节 →
18 知识蒸馏与模型压缩
蒸馏训练 温度参数 学生网络
进入章节 →
19 推理框架对比
TensorRT vs OpenVINO ONNX Runtime 选型决策
进入章节 →
20 端侧GPU推理
Adreno/Mali Apple Metal 端侧量化
进入章节 →
21 多GPU推理
数据/模型并行 流水线并行 NCCL
进入章节 →
22 推理服务化
Triton Server 动态Batch 请求调度
进入章节 →
23 性能Profiling工具
Nsight Systems Nsight Compute NVIDIA SMI
进入章节 →
24 推理延迟优化
首Token延迟 CUDA Graph Kernel Launch
进入章节 →
25 吞吐量优化
最大Batch 异步推理 预处理流水线
进入章节 →
26 模型安全与防护
模型加密 对抗防御 模型水印
进入章节 →
27 边缘部署实战
Jetson优化 DeepStream 功耗平衡
进入章节 →
28 云原生推理
Docker/K8s 自动扩缩容 GPU虚拟化
进入章节 →
29 大规模推理集群
集群架构 任务调度 故障恢复
进入章节 →
30 未来趋势与前沿
CXL内存扩展 存算一体 AI编译器
进入章节 →
📢 ：  |  ：