📘 TensorRT-LLM 实战低延迟架构

🎯 30章 · 从入门到生产

课程导学与架构全景 🎬

低延迟推理的挑战 · TensorRT-LLM生态定位 · 课程目标与学习路径

环境搭建与核心组件 ⚙️

Docker镜像构建 · TensorRT-LLM安装 · trtllm-build初探

模型加载与引擎构建 🧠

HuggingFace → TensorRT引擎 · 量化配置(FP16/INT8/INT4)

服务化架构设计 🏗️

客户端-服务端模型 · 请求排队与批处理 · 同步/异步接口

高性能推理引擎配置 🚀

最大输入/输出长度 · 批处理大小 · KV Cache优化 · 显存管理

流式输出与首Token延迟 ⚡

Streaming模式 · TTFT优化 · Chunked Prefill策略

并发请求调度 📊

动态批处理(In-flight Batching) · 优先级队列 · 超时重试

KV Cache管理与优化 🗂️

PagedAttention · KV Cache复用 · 内存池化与碎片整理

模型并行策略 🔀

张量并行(TP) · 流水线并行(PP) · 专家并行(EP) in MoE

显存优化技术 💾

Activation Checkpointing · 显存碎片整理 · CPU Offloading

量化与精度控制 🔬

FP8量化 · SmoothQuant · AWQ & GPTQ集成

自定义插件开发 🧩

Plugin机制 · 自定义Kernel · 注册与调用流程

请求路由与负载均衡 🌐

gRPC服务发现 · 一致性哈希路由 · 动态扩缩容

监控与可观测性 📈

Prometheus指标 · 延迟分解(TTFT/TPOT) · 日志结构化

性能基准测试 ⏱️

perf_benchmark工具 · 吞吐量与延迟权衡 · 压力测试

多模态模型支持 🖼️

视觉语言模型(VLM)部署 · 图像Token化与文本生成协同

安全与访问控制 🔒

TLS/SSL加密 · API密钥认证 · 请求审计日志

模型热更新与版本管理 🔄

无损热加载 · A/B测试流量切换 · 模型版本回滚

边缘端部署优化 📱

Jetson平台适配 · 内存受限模型裁剪 · 低功耗推理

长文本场景优化 📄

滑动窗口注意力 · RoPE外推 · 长序列KV Cache管理

Speculative Decoding 🔮

推测解码原理 · 草稿模型选择 · 加速比分析

Prompt Cache与前缀缓存 🧬

公共前缀缓存 · 语义缓存 · 减少重复计算

分布式推理集群 🌍

多节点部署 · AllReduce优化 · NVLink & InfiniBand

C++与Python双语言API 💻

C++ Runtime性能 · Python API易用性 · 混合编程

日志与调试 🐞

详细日志级别 · 推理过程可视化 · 常见错误排查

生产环境高可用设计 🏥

主备切换 · 熔断降级 · 优雅关闭与请求排空

成本优化 💰

GPU利用率提升 · Spot实例管理 · 混合精度与算力权衡

与LangChain/LLamaIndex集成 🔗

作为LLM后端接入 · 流式回调 · 工具调用支持

实战案例：聊天机器人服务 🤖

模型选择到上线 · 延迟SLA保障 · 压力测试报告

课程总结与进阶方向 🎓

架构设计复盘 · 社区生态展望 · 推荐学习资源