🚀 TensorRT 多流并发
⚡
30 章 · 实战进阶
风格 · 明快活力
📚 目录 · 点击卡片跳转
01
TensorRT 基础认知
什么是TensorRT，为什么需要它，在AI推理中的定位与优势。
02
环境搭建与版本选择
CUDA、cuDNN、TensorRT版本匹配，Docker与源码编译。
03
ONNX 模型导出与优化
PyTorch/TF导出ONNX，onnx-simplifier简化，Fix动态轴。
04
TensorRT 模型构建
Builder、Config、Network、Engine、Context五大核心对象。
05
序列化与反序列化
Engine序列化保存/加载，避免重复构建，trtexec工具。
06
动态形状 (Dynamic Shape)
动态Batch/H/W，Optimization Profile配置与踩坑。
07
多流并发概念
CUDA Stream基础，默认流与自定义流，适用场景。
08
单Context多流推理
一个ExecutionContext绑定多个CUDA Stream，请求级并发。
09
多Context多流推理
多个Context各自绑定独立Stream，模型级并发。
10
线程安全与Context隔离
TensorRT Context线程安全分析，每个线程独立Context。
11
显存池化管理
setTensorAddress，避免反复cudaMalloc/cudaFree。
12
异步推理与同步
cudaStreamSynchronize、cudaEvent、回调函数正确使用。
13
多流并发性能基准测试
单流vs多流，不同BatchSize吞吐与延迟对比实验。
14
MPS 与多流
NVIDIA MPS原理，与多流并发异同，选择时机。
15
多GPU多流并发
cudaSetDevice切换设备，每个GPU独立Stream与Context。
16
TensorRT Plugin自定义算子
Plugin接口实现，多流环境下线程安全性。
17
INT8量化与多流
校准流程，INT8模型在多流场景精度与性能。
18
DLA 与多流
Jetson DLA核心，多流任务在DLA上的调度。
19
内存拷贝优化
cudaMemcpyAsync与Pinned Memory，重叠计算传输。
20
NVTX & Nsight 分析
NVTX标记多流任务，Nsight Systems可视化并发瓶颈。
21
多流并发问题排查
CUDA Error 999、显存泄漏、Stream同步死锁实战。
22
TensorRT 10 新特性
新API变化，多流支持增强，性能提升点。
23
推荐系统中的应用
大规模Embedding查询，多请求并行推理架构。
24
视频分析中的应用
多路视频解码+推理，Stream与Frame Pipeline设计。
25
NLP 中的应用
GPT/LLM推理，Continuous Batching与多流结合。
26
自动驾驶中的应用
多传感器融合，多模型并行推理，实时性保障。
27
TensorRT-LLM 与多流
Inference Request架构，多流并发实现高吞吐。
28
多流并发部署框架
Triton Dynamic Batching与多流，gRPC/HTTP服务化。
29
性能调优实战
从Profiling到优化，完整调优案例。
30
课程总结与展望
多流并发最佳实践，未来趋势（MIG、DPU、CXL等）。