01
推理初探
什么是推理？推理与训练的本质区别。为什么推理这么重要？
基础概念
02
模型加载与初始化
PyTorch模型加载、权重映射、设备分配（CPU/GPU）。
工程PyTorch
03
Tokenization与Embedding
分词器原理、词嵌入与位置编码的推理时行为。
分词嵌入
04
自注意力机制推理
单步计算、KV Cache的引入与原理。
注意力KV Cache
05
KV Cache实战
缓存结构、内存管理、显存优化技巧。
显存优化
06
推理中的Mask机制
Causal Mask与Padding Mask在推理时的应用。
Mask解码
07
逐Token生成
自回归解码流程、EOS停止条件、最大生成长度控制。
自回归生成
08
Beam Search解码
原理、实现、长度惩罚与Beam Size选择。
搜索解码
09
Top-K与Top-P采样
随机解码策略、温度系数、重复惩罚。
采样随机
10
推理加速之Flash Attention
原理、分块策略、显存节省。
加速显存
11
推理加速之PageAttention
vLLM核心思想、非连续显存管理。
vLLM显存
12
推理加速之Continuous Batching
动态批处理、请求调度。
批处理调度
13
推理加速之Speculative Decoding
投机解码、草稿模型与验证。
投机加速
14
推理加速之量化
INT8/INT4量化、Weight Only量化、动态量化。
量化INT8
15
推理加速之剪枝与蒸馏
结构化剪枝、知识蒸馏在推理中的应用。
剪枝蒸馏
16
推理引擎介绍
Hugging Face Transformers、FasterTransformer、TensorRT-LLM。
引擎框架
17
ONNX Runtime推理
模型导出、优化、部署。
ONNX部署
18
TensorRT推理
模型编译、动态形状、FP16/INT8推理。
TensorRT编译
19
vLLM推理框架
PagedAttention、高效调度、生产部署。
vLLM生产
20
推理服务化
FastAPI封装、并发控制、请求队列。
服务API
21
推理性能指标
延迟、吞吐量、TTFT、TPOT、ITL。
指标性能
22
推理Profiling工具
PyTorch Profiler、Nsight Systems、自定义计时。
Profiling工具
23
显存分析与优化
模型显存占用计算、Activation显存、碎片整理。
显存优化
24
长序列推理挑战
显存爆炸、注意力分散、位置外推。
长序列挑战
25
位置编码外推
ALiBi、RoPE、NTK-aware Scaling。
位置编码外推
26
推理中的数值精度
FP32/FP16/BF16/FP8对比、混合精度推理。
精度混合精度
27
多GPU推理
张量并行、流水线并行、数据并行。
并行多GPU
28
推理安全与对齐
Prompt注入、输出过滤、内容审核。
安全对齐
29
边缘端推理
模型压缩、TFLite、CoreML、NCNN。
边缘移动端
30
推理未来趋势
MoE推理、稀疏注意力、推理芯片、Agent推理。
趋势前沿