01
注意力机制推理瓶颈分析
计算复杂度 · 内存带宽 · KV Cache 三维剖析
瓶颈显存
02
Flash Attention 原理与实现
分块计算 · 重计算 · Forward/Backward tiling
显存优化tiling
03
PagedAttention 与 vLLM
KV Cache 碎片化 · 零浪费显存管理 · 动态batch
vLLM分页
04
MQA 与 GQA
减少KV头 · 降低显存带宽 · 质量保持
MQAGQA
05
Speculative Decoding
小模型草稿 · 大模型验证 · 2-3倍加速
推测解码草稿
06
KV Cache 量化
FP16→INT8/INT4 · 分组量化 · 动态量化
量化INT8
07
Streaming LLM 与窗口注意力
注意力汇合 · 滚动KV Cache · 长文本推理
流式窗口
08
稀疏注意力机制
LSH · 聚类 · 学习稀疏模式
稀疏LSH
09
推测性解码工程实现
草稿训练 · 树状验证 · 拒绝采样
工程采样
10
连续批处理与动态batching
请求级动态调度 · GPU利用率提升
batching调度
11
Prefix Caching
公共前缀KV Cache · RAG/多轮复用
前缀缓存RAG
12
Attention Sink 与窗口注意力
注意力坍塌 · 初始token关注
Sink窗口
13
TensorRT-LLM 注意力优化
FlashAttention · MHA/MQA/GQA · inflight batching
TensorRT插件
14
vLLM 调度与显存管理
Block Manager · Copy-on-Write · 动态扩容
vLLM显存
15
Medusa 多头推测解码
同时预测多个token · 加速比提升
Medusa多头
16
Lookahead Decoding
n-gram缓存 · 并行验证 · 无草稿推测
Lookaheadn-gram
17
Self-Speculative Decoding
利用早期层作草稿 · 无需额外训练
自推测无训练
18
KV Cache Offloading 与分层存储
冷数据卸载 · CPU/NVMe · 超长上下文
Offload分层
19
FlashDecoding 与 Split-KV
分块并行 · 减少同步 · 长序列推理
FlashDecSplit-KV
20
Attention 硬件亲和优化
Tensor Core · CUDA Core · 算子融合
硬件融合
21
INT8/INT4 权重量化与注意力
量化感知训练 · 校准 · 精度恢复
权重量化INT4
22
FP8 训练与推理
H100 FP8加速 · 精度保持
FP8H100
23
稀疏注意力与MoE结合
混合专家 · 减少专家通信开销
MoE稀疏
24
环形注意力与分布式推理
多GPU序列并行 · 超长序列
环形分布式
25
异步推理与流水线并行
注意力与其它层重叠 · 硬件利用率
异步流水线
26
Prompt Cache 与预填充优化
系统提示预计算 · 常见prompt缓存
预填充缓存
27
Attention 编译器优化
Triton · TVM · 自动生成kernel
编译器Triton
28
低秩近似与核方法
Nyström · Performer · 近似注意力
低秩核方法
29
推理系统端到端优化
模型压缩 · 算子 · 调度 · 硬件适配
全链路系统
30
前沿趋势与未来方向
线性注意力 · 状态空间 · Mamba架构
前沿Mamba