📘 TensorRT-LLM · HF 实战
30章
⚡ 友好色系
🎨
01
课程导论与前置准备
TensorRT-LLM简介 · HF生态 · 环境搭建
02
HuggingFace模型基础
Transformers · AutoModel · Pipeline
03
ONNX模型导出
PyTorch→ONNX · 动态轴 · ONNX Runtime
04
TensorRT基础入门
Builder · Engine · ONNX解析器
05
TensorRT-LLM架构解析
设计理念 · Attention · 插件系统
06
权重绑定与格式转换
bin/safetensors · 权重转换脚本
07
模型配置与参数映射
config.json · 参数映射 · 自定义配置
08
Tokenizer集成
HF Tokenizer · 适配 · 词汇表对齐
09
单机单卡推理部署
Engine构建 · C++ Runtime · 性能基准
10
批量推理与动态形状
动态Batch · Padding · Inflight Batching
11
FP16与INT8量化
SmoothQuant · Calibration · 部署
12
INT4与AWQ量化
AWQ · GPTQ对比 · 精度权衡
13
KV Cache优化
PagedAttention · Block管理 · 显存
14
多卡并行推理
Tensor Parallelism · Pipeline · 通信
15
服务化部署架构
FastAPI · gRPC · 并发控制
16
流式输出实现
Streaming · WebSocket · 前端展示
17
Prompt Cache与Prefix Caching
共享Prompt · 命中率分析
18
LoRA适配器集成
LoRA原理 · 多LoRA切换 · 开销
19
多模态模型支持
LLaVA · 视觉Encoder · 多模态推理
20
MoE模型部署
Mixtral 8x7B · Expert Parallelism
21
长上下文模型优化
RoPE · 窗口注意力 · YaRN
22
Benchmark与Profiling
性能指标 · Profiling · 瓶颈定位
23
常见错误与调试
OOM · 精度对齐 · 算子Fallback
24
自定义Plugin开发
Plugin接口 · Kernel编写 · 注册
25
模型安全与合规
加密 · License · 输出过滤
26
CI/CD与自动化测试
自动化构建 · 回归测试 · 版本管理
27
Kubernetes部署
K8s · GPU管理 · 自动扩缩容
28
边缘端部署
Jetson · 功耗优化 · 模型压缩
29
社区生态与工具链
HF Hub · TGI · vLLM对比
30
综合实战项目
生产级Pipeline · 调优 · 最佳实践