🚀 GPU加速 · 推理实战
📘 30章 完整目录
v1.0
🎯 友好色系
⚡ 点击章节跳转对应 .html 文件
🧩 从CUDA到LLM推理
01
GPU推理加速概述
为什么需要GPU加速 · GPU vs CPU · TensorRT/ONNX Runtime/CUDA
02
CUDA编程基础
架构简介 · Grid/Block/Thread · 内存层次 · Kernel编写
03
CUDA内存优化
合并访问 · 共享内存 & bank conflict · 常量/纹理/统一内存
04
CUDA流与异步操作
流概念 · 创建/销毁 · 异步拷贝 · 多流并发 · Event同步
05
cuBLAS与cuDNN库
cuBLAS矩阵乘法 · cuDNN卷积/池化 · 混合精度FP16
06
TensorRT核心概念
工作流程 · Network/Builder/Engine · INT8量化与校准
07
TensorRT模型构建
ONNX导出 · Python API构建网络 · 动态形状
08
TensorRT推理优化
层融合 · 内核自动调优 · 内存复用 · 多流并发
09
TensorRT插件开发
自定义层场景 · C++插件 · 注册与Python调用
10
ONNX Runtime GPU加速
GPU Execution Provider · 图变换 · 性能调优
11
模型量化技术
对称/非对称 · PTQ · QAT · TensorRT INT8实践
12
模型剪枝与稀疏化
结构化/非结构化 · Ampere 2:4稀疏 · 推理加速
13
知识蒸馏
Teacher-Student · 软标签 · 蒸馏+量化方案
14
多GPU推理
数据/模型/流水线并行 · NCCL库基础
15
推理服务部署
Triton架构 · 模型仓库 · 动态批处理 · 负载均衡
16
GPU显存管理
显存碎片 · 池化/复用 · nvidia-smi · Nsight Systems
17
推理性能分析
Nsight Compute/Systems · 瓶颈定位 · Roofline模型
18
Transformer推理优化
自注意力加速 · KV Cache · Flash Attention · vLLM
19
大语言模型(LLM)推理
Continuous Batching · 推测解码 · GPTQ/AWQ
20
计算机视觉模型推理
NPP预处理 · 多尺度 · NMS加速 · 视频流推理
21
语音模型推理
Wav2Vec2/Whisper · 流式推理 · 特征提取加速
22
推荐系统模型推理
Embedding优化 · 特征交叉 · 稀疏模型 · 显存压缩
23
图神经网络推理
消息传递加速 · 采样聚合 · GPU图存储
24
边缘端GPU推理
Jetson · TensorRT for Jetson · 功耗平衡 · 模型压缩
25
混合精度推理
FP16/BF16 · Tensor Cores · 数值稳定性
26
推理框架对比
TensorRT vs ONNX vs OpenVINO vs TVM · 选型建议
27
自定义算子优化
CUDA自定义算子 · 融合策略 · JIT编译(Numba/Triton)
28
推理管线设计
DALI预处理 · GPU管线 · 端到端延迟优化
29
生产环境最佳实践
模型版本管理 · A/B测试 · 监控告警 · 容错成本
30
未来趋势与总结
Hopper/Blackwell · 稀疏计算 · 学习路径建议