01
大模型推理延迟全景
定义、关键指标（TTFT、TPOT、E2E Latency）、延迟对用户体验的影响
指标体验
02
推理架构基础
Transformer Decoder架构、自回归生成机制、KV Cache原理
架构KV Cache
03
计算瓶颈分析
矩阵乘法（GEMM）与注意力机制（Attention）的计算特性与瓶颈
GEMMAttention
04
访存瓶颈分析
模型权重的显存占用、KV Cache的显存占用、访存带宽对延迟的影响
显存带宽
05
推理框架概览
vLLM、TensorRT-LLM、TGI、llama.cpp等主流框架的延迟优化策略对比
框架对比
06
批处理策略
静态批处理与动态批处理、Continuous Batching的原理与实现
批处理Continuous
07
KV Cache优化
PageAttention、PagedKV Cache、KV Cache量化与压缩
PageAttention压缩
08
模型量化基础
FP16、INT8、INT4量化原理及其对延迟和精度的影响
量化精度
09
量化实践
GPTQ、AWQ、GGUF等量化方法的原理与在推理中的应用
GPTQAWQ
10
模型剪枝与蒸馏
结构化剪枝、非结构化剪枝、知识蒸馏对推理加速的作用
剪枝蒸馏
11
投机性解码
Speculative Decoding的原理、Draft Model的选择与训练
投机解码Draft
12
并行推理策略
张量并行（Tensor Parallelism）、流水线并行（Pipeline Parallelism）
TPPP
13
专家并行
MoE（Mixture of Experts）模型的推理优化与负载均衡
MoE负载均衡
14
推理引擎优化
算子融合（Kernel Fusion）、FlashAttention原理与实现
算子融合FlashAttn
15
内存管理优化
显存池化、内存碎片整理、CPU Offloading策略
显存池Offload
16
请求调度优化
请求排队、优先级调度、超时处理与负载均衡
调度排队
17
前缀缓存
RadixAttention、自动前缀缓存（Automatic Prefix Caching）的原理
Radix前缀缓存
18
推理服务部署
模型服务化（Serving）、API设计、并发控制
ServingAPI
19
延迟监控与可观测性
Prometheus + Grafana监控、链路追踪（Tracing）、日志分析
监控Tracing
20
性能Profiling工具
PyTorch Profiler、Nsight Systems、Nsight Compute的使用
ProfilerNsight
21
Profiling实战
定位Attention瓶颈、定位GEMM瓶颈、定位通信瓶颈
定位瓶颈
22
单机单卡优化
从模型加载到推理的全链路延迟优化实践
单卡全链路
23
单机多卡优化
张量并行与流水线并行的配置与调优
多卡调优
24
多机多卡优化
分布式推理的网络通信优化与拓扑感知调度
分布式拓扑
25
低延迟场景优化
流式输出（Streaming）、首Token延迟（TTFT）优化
流式TTFT
26
高吞吐场景优化
吞吐量与延迟的权衡、最优Batch Size搜索
吞吐Batch
27
硬件选型与适配
GPU（A100/H100/L40S）、CPU、NPU的推理延迟对比
硬件对比
28
推理成本优化
延迟与成本的平衡、Spot实例与弹性伸缩策略
成本Spot
29
端侧推理优化
模型压缩、NCNN/MNN/TNN等端侧框架的延迟优化
端侧NCNN
30
综合案例
从零优化一个LLM推理服务，延迟降低50%的实战记录
实战案例