TensorRT 分块加载 · 实战

1 TensorRT 基础认知 层融合 · 精度校准 · 内核调优 → 2 环境搭建与工具链 CUDA · cuDNN · trtexec → 3 模型序列化与反序列化 ONNX → TensorRT 引擎 → 4 内存管理基础 cudaMalloc · IGpuAllocator → 5 分块加载概念 显存瓶颈 · OOM 分析 → 6 引擎文件结构解析 .engine 内部布局 → 7 分块加载策略 (一) 按层分块 · 逐层推理 → 8 分块加载策略 (二) 按权重分块 · 动态加载 → 9 分块加载策略 (三) 按子图分块 · 顺序执行 → 10 IStream 与 IStreamFactory 分块读取引擎数据 → 11 分块加载上下文管理 IRuntime · 多上下文切换 → 12 显存池化技术 预分配 · 复用显存 → 13 异步加载与推理 CUDA Stream · 隐藏 I/O → 14 分块加载线程安全 互斥同步 · 线程池 → 15 动态形状与分块加载 动态 batch / 分辨率 → 16 量化模型的分块加载 INT8/FP8 · 校准表 → 17 稀疏模型的分块加载 2:4 稀疏 · Ampere → 18 多GPU分块加载 多卡协同推理 → 19 分块加载容错机制 回退策略 · 降级推理 → 20 性能监控与调优 Nsight Systems 分析 → 21 实战案例 (一) BERT ONNX → 分块引擎 → 22 实战案例 (二) YOLOv8 动态 batch 优化 → 23 实战案例 (三) Stable Diffusion UNet · VAE 分离 → 24 实战案例 (四) LLaMA-7B Transformer 逐层加载 → 25 TensorRT-LLM 结合 分块 KV Cache → 26 边缘设备分块加载 Jetson Orin/Nano → 27 自动化分块工具 脚本分析 · 生成方案 → 28 常见错误与调试 形状不匹配 · 显存泄漏 → 29 性能对比与评估 分块 vs 全量加载 → 30 未来展望与总结 TensorRT 10+ · 趋势 →