01
精度与速度的博弈
为什么大模型推理需要平衡？——从用户等待时间与回答质量说起。
⚖️ 权衡⏱️ 延迟
02
量化基础：FP32→INT4
从FP32到INT4，精度是如何一步步被“压缩”的？
🔢 数值📉 压缩
03
量化实战：bitsandbytes
使用bitsandbytes库对LLaMA模型进行4-bit量化。
⚙️ 实战🤖 LLaMA
04
量化陷阱与校准
量化后模型“变笨”了怎么办？——校准数据集与量化感知训练。
⚠️ 陷阱📊 校准
05
KV Cache：推理加速心脏
为什么说它是推理加速的“心脏”？
❤️ 核心⚡ 缓存
06
KV Cache优化：GQA→MQA
从GQA到MQA，多头注意力机制的“瘦身”革命。
🏋️ 瘦身🧠 注意力
07
投机性解码
让“小模型”先猜，大模型只负责“批改作业”。
🤔 推测✏️ 批改
08
并行策略：分而治之
张量并行与流水线并行的“分而治之”思想。
🧩 并行⚙️ 流水线
09
连续批处理
如何让GPU一刻也不闲着？——动态batching的奥秘。
📦 批处理🔄 动态
10
Flash Attention
让注意力计算“快如闪电”的IO优化技术。
⚡ IO优化🔥 注意力
11
PagedAttention / vLLM
vLLM的核心，像操作系统管理内存一样管理KV Cache。
📄 分页💾 内存管理
12
模型剪枝
去掉“不重要”的神经元，模型还能正常工作吗？
✂️ 剪枝🧬 稀疏
13
知识蒸馏
让“老师”教“学生”，大模型变小模型。
👨🏫 蒸馏📐 压缩
14
推理引擎对决
vLLM vs TensorRT-LLM vs llama.cpp，谁更快？
🏎️ 引擎⚔️ 对比
15
硬件选型
A100 vs H100 vs 4090，不同场景下该选谁？
🖥️ GPU💰 选型
16
显存分析：70B模型
一个70B模型到底需要多少显存？——公式与实战。
📏 显存🧮 公式
17
吞吐量与延迟
QPS和TTFT，这两个指标决定了用户体验。
📊 QPS⏳ TTFT
18
Prefill与Decode
为什么生成第一个字最慢？——两阶段分析。
🔤 首字⏱️ 两阶段
19
Speculative Decoding进阶
如何训练一个高效的“草稿模型”？
📝 草稿🚀 加速
20
稀疏化计算 / MoE
让模型只激活部分参数，MoE架构的推理优化。
🌿 稀疏🧩 MoE
21
INT8 vs FP8
新一代GPU的原生支持，精度损失真的可以忽略吗？
8-bit🎯 精度
22
AWQ与GPTQ
两种主流量化方法的原理与对比。
⚖️ 对比🔬 量化
23
SmoothQuant
让量化更平滑的“迁移”技术。
🪞 平滑🧪 迁移
24
推理服务化架构
从单机部署到分布式推理，架构如何演进？
☁️ 分布式🏗️ 架构
25
请求调度算法
FCFS、SJF还是MLFQ？——调度算法对推理延迟的影响。
📅 调度⏲️ 延迟
26
前缀缓存
相同Prompt前缀的“复用”魔法。
♻️ 复用🔤 前缀
27
分离式推理
将Prefill和Decode部署到不同机器上。
🔀 分离🖧 异构
28
边缘部署黑科技
在手机和IoT设备上跑大模型，有哪些“黑科技”？
📱 边缘🛠️ 优化
29
精度评估指标
除了Perplexity，还有哪些指标能反映真实效果？
📏 评估📊 指标
30
未来展望：更快
从“快”到“更快”，下一代推理优化技术方向。
🔮 未来🚀 前沿