01
推理引擎概述
什么是大模型推理引擎 · 产业链位置 · vLLM/TGI/TensorRT-LLM对比
基础概念
02
环境准备
Python虚拟环境 · CUDA/cuDNN · PyTorch & Transformers · Docker
环境配置
03
模型加载与基础推理
Transformers加载LLaMA · AutoModel/AutoTokenizer · temperature/top_p/top_k
推理参数
04
Tokenization与Embedding
BPE & SentencePiece · 词表构建 · Embedding权重共享 · 特殊Token
分词嵌入
05
Transformer架构精讲
Self-Attention · Multi-Head · FFN · LayerNorm/RMSNorm · 残差连接
核心架构
06
Decoder-Only架构
因果掩码 · KV Cache · RoPE/ALiBi · LLaMA vs GPT
解码位置编码
07
推理引擎核心
Batch推理 · Dynamic Batching · Continuous Batching · FCFS/SJF调度
调度批处理
08
显存管理
KV Cache显存计算 · PagedAttention · 显存池化 · Offloading
显存优化
09
量化技术基础
FP16/BF16 · INT8/INT4 · QAT/PTQ · GPTQ & AWQ
量化精度
10
模型并行
Tensor Parallelism · Pipeline Parallelism · Sequence Parallelism · 1D/2D策略
并行分布式
11
服务化部署
FastAPI REST API · gRPC · 请求队列 · 健康检查与监控
部署API
12
Prefix Caching
共享前缀缓存 · RadixTree · 自动前缀检测 · 缓存命中率优化
缓存加速
13
Speculative Decoding
投机解码 · Draft/Verifier模型 · Rejection Sampling · 加速比
解码推测
14
Flash Attention
IO-Aware · Tiling/Recomputation · Flash 1/2/3 · Block-Sparse
注意力高效
15
MoE (Mixture of Experts)
MoE架构 · Router网络 · Expert Parallelism · 负载均衡
稀疏专家
16
推理引擎调度器
优先级调度 · 抢占恢复 · 超时处理 · 动态批处理大小
调度引擎
17
模型权重格式
SafeTensors · PyTorch权重 · 分片加载 · 延迟加载 · 转换工具
存储格式
18
推理精度控制
FP8推理 · FP6/FP4探索 · SmoothQuant · KV Cache量化
精度量化
19
多模态推理
视觉语言模型(VLM) · 图像Tokenization · 交叉注意力 · 多模态KV Cache
多模态视觉
20
推理引擎优化工具
Nsight Systems · PyTorch Profiler · TorchDynamo/Inductor · Triton
工具性能
21
自定义算子开发
CUDA Kernel · Triton语言 · Fused Kernel · 性能调优
算子CUDA
22
分布式推理
多机多卡 · AllReduce/AllGather · NCCL · Ring Attention
分布式通信
23
推理引擎测试
单元测试 · 端到端测试 · 性能基准 · 回归测试
测试质量
24
日志与监控
结构化日志 · Prometheus · Grafana · 告警规则
监控可观测
25
安全与防护
模型注入防护 · 请求验证 · 速率限制 · 鉴权认证
安全防护
26
流式输出
SSE实现 · WebSocket流式 · 流式解码优化 · 中断处理
流式实时
27
Function Calling
工具调用定义 · 函数参数解析 · 并行工具调用 · 结果注入
函数扩展
28
推理引擎扩展
自定义Sampling · Logits Processor · Hook机制 · 插件系统
扩展定制
29
生产环境部署
Kubernetes · 自动扩缩容 · 蓝绿部署 · 灰度发布
K8s生产
30
实战项目
完整LLM推理服务 · 性能调优 · 单机到分布式 · 总结展望
实战项目