🚀 TensorRT-LLM
加速实战
📚
30章 · 从入门到部署
01
TensorRT-LLM初识
什么是TensorRT-LLM
大模型推理痛点
核心优势
生态与社区
02
环境搭建与安装
硬件要求
CUDA/cuDNN
源码编译
验证安装
03
核心概念解析
引擎/Plan
Builder/Config
Runtime
序列化
04
模型导出与转换
HuggingFace导出
ONNX导出
Checkpoint格式
权重分片
05
第一个推理程序
加载引擎
Runtime
准备输入
执行推理
06
模型配置详解
FP16/FP8/INT4
最大序列长度
批处理大小
KV Cache配置
07
动态形状与批处理
动态Batch
动态序列长度
Inflight Batching
Continuous Batching
08
KV Cache优化
KV Cache原理
PageAttention
KV Cache量化
共享前缀
09
量化技术实战
W4A16/W8A16
激活量化
SmoothQuant
AWQ/GPTQ
10
模型并行策略
张量并行TP
流水线并行PP
序列并行SP
专家并行EP
11
Attention机制优化
FlashAttention
FlashInfer
Multi-Query
Grouped-Query
12
推理服务部署
Triton Server
模型仓库
动态批处理
启动服务
13
性能基准测试
吞吐量测试
延迟测试
首Token延迟
并发模拟
14
内存优化技巧
显存碎片整理
内存池配置
CPU Offloading
模型分片加载
15
多GPU多节点部署
NCCL配置
节点间通信
AllReduce策略
故障恢复
16
自定义插件开发
Plugin架构
自定义OP
注册Plugin
引擎中使用
17
LoRA与微调模型
LoRA权重加载
多LoRA切换
LoRA+量化
P-Tuning
18
流式输出与API
Token流式生成
WebSocket
Server-Sent Events
客户端流式
19
日志与调试
设置日志级别
Profiling工具
Nsight Systems
错误排查
20
安全与权限控制
模型加密
引擎签名
访问控制
安全部署
21
多模态模型支持
LLaVA/BLIP
Qwen-VL适配
视觉编码器
多模态推理
22
MoE模型优化
MoE架构原理
专家路由优化
负载均衡
MoE量化
23
长文本推理优化
RoPE/ALiBi
窗口注意力
稀疏注意力
上下文压缩
24
C++ API实战
C++ Runtime
引擎构建
推理示例
性能对比
25
Python API进阶
自定义采样
Logits处理器
惩罚机制
Top-K/Top-P
26
模型合并与蒸馏
模型集成
知识蒸馏
Speculative Decoding
Medusa Head
27
边缘端部署
Jetson平台
TensorRT-LLM on Jetson
功耗优化
模型压缩
28
监控与告警
Prometheus指标
Grafana仪表盘
GPU监控
延迟监控
29
版本迁移与兼容性
版本升级指南
Checkpoint迁移
API变更适配
回滚策略
30
综合实战项目
模型选择到部署
性能调优全流程
生产踩坑记录
项目总结展望