01
大模型推理全景图
从训练到服务的最后一公里，推理流程总览，硬件选型核心指标（算力、显存、带宽）。
全景硬件指标
02
Transformer解码器原理
自注意力机制与KV Cache的硬件视角，为什么KV Cache是显存杀手？
解码器KV Cache
03
预填充与解码阶段
两个阶段的计算与访存特征差异，对硬件负载的直接影响。
预填充解码
04
显存去哪儿了？
模型权重、KV Cache、中间激活值、优化器状态的内存占用拆解与估算公式。
显存分析公式
05
量化技术入门
FP16、INT8、INT4的精度与吞吐权衡，量化对硬件计算单元的适配。
量化INT8
06
GPTQ与AWQ量化实战
两种主流权重量化方法的原理、优缺点及在GPU上的实测对比。
GPTQAWQ
07
KV Cache量化
INT8/FP8 KV Cache的原理、实现与显存节省效果，精度损失控制。
KV CacheFP8
08
FlashAttention原理
从标准Attention到FlashAttention，如何通过分块计算减少HBM访问。
FlashAttnHBM
09
PageAttention与vLLM
虚拟化KV Cache，解决显存碎片与动态调度问题。
vLLM分页
10
连续批处理
动态Batching与In-flight Batching，提升GPU利用率的工程实践。
批处理动态
11
模型并行策略
张量并行与流水线并行的原理、通信开销分析及在推理中的应用。
并行通信
12
专家并行与MoE推理
Mixture of Experts模型的推理挑战，显存与计算负载均衡。
MoE负载均衡
13
GPU硬件架构
NVIDIA GPU的SM、Tensor Core、HBM、NVLink详解，对推理性能的影响。
GPUTensor Core
14
GPU推理引擎
TensorRT-LLM架构解析，图优化、层融合、内核自动调优。
TensorRT图优化
15
CPU推理方案
利用AVX-512、AMX指令集加速，大模型在CPU上的部署可行性分析。
CPUAVX-512
16
NPU与专用芯片
华为昇腾、Graphcore IPU、Cerebras Wafer-Scale的推理架构与生态。
NPU昇腾
17
推理服务框架
Triton Inference Server架构，模型并发、动态批处理、模型生命周期管理。
Triton服务
18
推理服务性能指标
首Token延迟、Token间延迟、吞吐量、并发数的定义与测量方法。
延迟吞吐
19
推理性能Profiling
使用Nsight Systems、PyTorch Profiler定位推理瓶颈。
ProfilingNsight
20
推理优化实战
算子融合、内存复用、计算与通信重叠等高级优化技巧。
算子融合内存复用
21
Speculative Decoding
投机解码原理，用小模型加速大模型推理的工程实现。
投机解码加速
22
Medusa与Lookahead Decoding
并行解码的进阶方案，树状注意力与多Token预测。
Medusa并行解码
23
Prompt优化与缓存
系统提示词压缩、Prompt Cache技术，减少预填充阶段计算量。
Prompt缓存
24
长上下文推理
RoPE扩展、位置编码外推、Ring Attention等处理超长序列的技术。
长上下文RoPE
25
多模态大模型推理
LLaVA、Qwen-VL等视觉语言模型的推理流程与硬件适配。
多模态视觉
26
边缘端部署
模型剪枝、蒸馏、TFLite/ONNX Runtime在手机与IoT设备上的部署。
边缘TFLite
27
推理成本模型
Token价格、GPU租赁成本、电力成本的计算与TCO分析。
成本TCO
28
推理集群管理
Kubernetes + GPU Operator的推理集群部署，弹性伸缩与资源调度。
K8sGPU Operator
29
安全与可靠性
模型幻觉检测、输出安全过滤、推理服务的容错与高可用设计。
安全高可用
30
未来趋势
稀疏计算、3D堆叠内存、光子计算等前沿技术对推理的潜在影响。
前沿稀疏