01
KV Cache 概述
什么是KV Cache · 为什么需要 · 在LLM推理中的位置
基础概念
02
自注意力机制回顾
QKV矩阵计算 · 注意力分数 · Softmax与加权求和
注意力Transformer
03
KV Cache 核心原理
解码重复计算 · 空间换时间 · 缓存命中与复用
原理优化
04
KV Cache 数据结构设计
张量形状 · 批次管理 · 连续与非连续内存
内存布局
05
KV Cache 内存管理
预分配 · 动态扩容 · 内存碎片处理
内存策略
06
PageAttention 原理
非连续内存分页 · 物理/逻辑块 · 块表管理
分页vLLM
07
vLLM 框架中的KV Cache
PagedAttention · Block Manager · 内存共享
框架推理
08
KV Cache 量化技术
FP16 vs INT8 vs INT4 · 量化误差 · 分组量化
量化压缩
09
KV Cache 压缩技术
MQA · GQA · 滑动窗口缓存
压缩注意力
10
KV Cache 剪枝策略
Token重要性 · 注意力分数剪枝 · 自适应淘汰
剪枝淘汰
11
KV Cache 与批处理
动态批处理 · 请求间缓存共享 · Prefix Caching
批处理共享
12
KV Cache 在推理引擎中的实现
TensorRT-LLM · DeepSpeed · Hugging Face
引擎部署
13
KV Cache 显存占用分析
模型参数 vs 缓存 · 序列长度 · 批次大小
显存分析
14
KV Cache 性能优化
CUDA Kernel · 内存带宽 · 计算与访存重叠
性能CUDA
15
KV Cache 与投机解码
投机解码原理 · 缓存一致性 · 回滚机制
解码推测
16
KV Cache 在分布式推理中的挑战
张量并行同步 · 流水线并行传递
分布式并行
17
KV Cache 的持久化与恢复
缓存序列化 · 磁盘存储 · 热启动加载
持久化恢复
18
KV Cache 与长上下文推理
窗口化缓存 · 环形缓冲区 · 分段策略
长上下文窗口
19
KV Cache 的测试与基准
吞吐量 · 首Token延迟 · 缓存命中率
基准指标
20
KV Cache 的调试与监控
显存可视化 · 命中率统计 · Profiling工具
调试监控
21
KV Cache 在MoE模型中的应用
专家路由 · 共享专家缓存策略
MoE稀疏
22
KV Cache 与多模态模型
视觉Token缓存 · 跨模态注意力管理
多模态视觉
23
KV Cache 的硬件适配
NVIDIA · AMD · 昇腾 · Apple Silicon
硬件适配
24
KV Cache 的软件栈抽象
驱动层 · 运行时 · 框架层 · 应用层
架构分层
25
KV Cache 的API设计
Python接口 · C++接口 · Rust绑定
API绑定
26
KV Cache 的安全与隔离
多租户隔离 · 数据加密 · 访问控制
安全隔离
27
KV Cache 的未来趋势
无限上下文 · 神经缓存 · 硬件协同
前沿趋势
28
KV Cache 在RAG系统中的应用
检索增强 · 动态知识注入
RAG检索
29
KV Cache 的工程实践
论文到生产 · A/B测试 · 灰度发布
工程实践
30
KV Cache 综合案例
高性能推理服务 · 端到端调优 · 生产部署
案例实战