📘 TensorRT-LLM 基准测试 30章 · 实战目录

⚡ 推理性能 · 从入门到精通

01

TensorRT-LLM 概述核心优势 · 适用场景 · 对比

02

环境搭建硬件/软件 · Docker · 源码编译

03

模型准备支持列表 · 下载 · 格式转换

04

构建引擎 trtllm-build · 参数 · 量化

05

基准测试基础吞吐量 · 延迟 · TTFT · TPOT

06

单请求延迟测试 trtllm-run · P50/P95/P99

07

吞吐量测试 perf_analyzer · 并发 · 关系

08

批处理性能动态批处理 · inflight_batching

09

量化对性能的影响 FP16/INT8/INT4/FP8 · 权衡

10

KV Cache 优化 page_attention · 量化 · 显存

11

模型并行策略 TP · PP · EP · 组合

12

输入输出长度影响长序列优化 · 性能变化

13

GPU 选择与性能 A100 · H100 · L40S · 带宽

14

CPU 与 GPU 协同预处理/后处理 · 异步 · 流水线

15

内存管理显存池 · 碎片 · OOM 策略

16

性能调优工具 Nsight Systems · Compute · Profiler

17

自定义测试脚本 Python API · 自动化 · 记录

18

结果分析与可视化图表 · 延迟分布 · 报告

19

多模型对比测试 LLaMA · GPT · Falcon · 架构

20

生产环境部署测试 Triton · 负载 · 稳定性

21

性能瓶颈定位 CPU/GPU/I/O/网络诊断

22

优化策略实战算子融合 · 内存/计算/通信

23

Speculative Decoding 原理 · 实现 · 收益

24

Continuous Batching 原理 · 对比 · 性能提升

25

PagedAttention 深入原理 · 显存节省 · 影响

26

MoE 模型测试专家路由 · 负载均衡 · 测试

27

多模态模型测试视觉语言 · 多模态推理

28

长上下文测试 32K/128K · 位置编码 · 退化

29

自动化基准测试框架模块化 · 配置 · 结果存储

30

最佳实践与总结生产配置 · 排查 · checklist