📘 TensorRT-LLM 深度解析 30章 · 核心差异

🎯 友好色系
1 课程导论：定位与关系 TensorRT vs TensorRT-LLM · 为什么需要专用推理引擎
2 核心架构差异 图优化引擎 vs 流式批处理引擎
3 模型支持范围 CV/NLP/多模态 vs Transformer/LLM
4 算子库差异 通用算子 vs FlashAttention、PageAttention
5 内存管理机制 静态内存池 vs 动态KV Cache管理
6 动态形状处理 显式动态形状 vs 隐式序列长度处理
7 批处理策略 静态批处理 vs 动态批处理 (In-flight Batching)
8 量化技术对比 INT8/FP8 vs FP4/INT4权重量化
9 图优化策略 层融合 vs 算子融合与重排
10 插件机制 IPluginV2 vs Custom AllReduce插件
11 多GPU支持 NCCL通信 vs 张量并行与流水线并行
12 编译流程对比 ONNX解析与构建 vs 模型定义与权重加载
13 运行时差异 ExecutionContext vs GenerationSession
14 精度控制 FP32/FP16混合精度 vs FP8/INT8混合精度
15 性能调优工具 trtexec vs benchmark工具
16 部署场景差异 云端/边缘端 vs 大模型服务
17 API设计哲学 C++/Python声明式API vs Python优先API
18 模型转换流程 ONNX转TRT vs HuggingFace转TRT-LLM
19 动态批处理实现 In-flight Batching原理与代码示例
20 KV Cache优化 PagedAttention与内存复用技术
21 推理精度对比 相同模型在TensorRT与TRT-LLM下的精度差异
22 吞吐量对比 相同硬件下TensorRT vs TRT-LLM基准测试
23 延迟优化 首Token延迟与解码延迟优化策略
24 多模态支持 视觉语言模型 (LLaVA) 支持
25 自定义算子开发 在TRT-LLM中注册自定义算子完整流程
26 模型服务化 Triton Inference Server集成
27 调试与日志 日志系统 vs Verbose模式
28 版本演进 TRT-LLM 8.x → 10.x 关键特性变化
29 选型指南 什么场景用TensorRT，什么场景用TRT-LLM
30 未来展望 融合趋势与LLM推理技术前沿