01
TensorRT-LLM 概述
什么是TensorRT-LLM，它解决了什么问题，大模型推理的痛点分析。
基础动机
02
核心架构解析
整体架构，插件机制，与原生TensorRT的关系。
架构插件
03
模型编译与优化
从PyTorch到TensorRT引擎，图优化与算子融合。
编译图优化
04
量化技术实战
FP16/INT8/INT4量化原理，配置与效果对比。
量化INT8
05
KV Cache优化
KV Cache原理，PageAttention，显存与吞吐权衡。
显存PageAttention
06
In-Flight Batching
动态批处理机制，GPU利用率提升，与传统Static Batching对比。
批处理动态
07
多GPU与多节点部署
张量并行、流水线并行策略与配置方法。
并行分布式
08
服务化部署
Triton Inference Server集成，RESTful与gRPC接口。
TritongRPC
09
性能基准测试
常用Benchmark工具，延迟与吞吐量指标解读。
Benchmark指标
10
与vLLM对比分析
架构差异、性能表现、生态成熟度、适用场景对比。
对比vLLM
11
与DeepSpeed对比分析
推理优化策略、显存管理、社区支持度对比。
DeepSpeed显存
12
与llama.cpp对比分析
边缘设备部署、量化精度、CPU推理能力对比。
边缘CPU
13
产业案例：智能客服
如何用TensorRT-LLM降低50%推理成本。
降本客服
14
产业案例：代码生成助手
延迟优化从2秒降到200毫秒的实战。
低延迟代码
15
产业案例：内容创作平台
高并发场景下的吞吐量提升方案。
高并发吞吐
16
产业案例：金融风控系统
实时推理的稳定性与SLA保障。
风控SLA
17
产业案例：医疗影像报告
多模态模型的推理加速。
多模态医疗
18
产业案例：教育辅导机器人
长上下文场景的KV Cache优化。
长上下文教育
19
产业案例：游戏NPC对话
低延迟交互的工程实践。
游戏NPC
20
产业案例：法律文书分析
大批量文档处理的批处理策略。
法律批处理
21
产业影响：GPU租赁市场
对云计算GPU租赁市场的影响，算力成本下降趋势。
算力成本
22
产业影响：AI芯片设计
对AI芯片设计的影响，推理专用芯片需求变化。
芯片推理
23
产业影响：开源大模型生态
对开源大模型生态的推动作用，部署门槛降低。
开源生态
24
产业影响：中小企业AI落地
从“用不起”到“用得起”的赋能。
中小企业普惠
25
产业影响：传统NLP服务商
技术栈迁移的挑战与机遇。
NLP转型
26
产业影响：AI应用开发范式
从模型训练到模型运营的转变。
MLOps范式
27
产业影响：数据隐私与安全
本地化部署的可行性提升。
隐私本地化
28
产业影响：AI人才市场需求
推理优化工程师岗位兴起。
人才岗位
29
未来趋势展望
TensorRT-LLM Roadmap，稀疏计算、MoE推理支持。
MoE稀疏
30
总结与行动指南
企业落地策略，学习路径推荐。
策略路径