🧠 精度·速度平衡术

大模型推理 · 30章 从入门到精通
🧑‍🎓 友好色系
01
精度与速度的博弈：为什么需要平衡？ 延迟与准确率矛盾，引出平衡必要性
02
量化基础：从FP32到INT8 什么是量化？如何同时影响速度与精度
03
量化感知训练（QAT）实战 训练中模拟量化误差，让模型适应低精度
04
训练后量化（PTQ）技巧 不用重新训练，校准数据集压到INT8
05
混合精度推理：FP16与BF16的取舍 FP16/BF16选择，显存与精度权衡
06
KV Cache量化：突破长文本推理瓶颈 长文本推理KV Cache占大头，量化策略
07
稀疏化：剪掉冗余参数 结构化/非结构化剪枝，推理加速选择
08
蒸馏：用大模型教小模型 知识蒸馏保留精度，大幅提升速度
09
动态批处理：吞吐量的秘密 多个请求拼在一起推理，不影响延迟
10
连续批处理：流式请求的优化 不用等批次凑满，来一个处理一个
11
PageAttention：显存管理的艺术 vLLM核心技术，解决显存碎片化
12
FlashAttention：加速注意力计算 O(n²)到O(n)，硬件友好实现
13
推测解码：投机取巧的加速 小模型先猜，大模型验证，速度翻倍
14
模型并行：张量并行与流水线并行 单卡放不下？多卡切分策略
15
专家并行：MoE模型的部署挑战 混合专家模型路由与负载均衡
16
服务框架选型：vLLM vs TGI vs TensorRT-LLM 主流推理框架对比与选择
17
推理引擎：ONNX Runtime与TensorRT 编译优化榨干硬件性能
18
算子融合：减少Kernel Launch开销 多个小算子合并，减少GPU调用
19
内存优化：显存复用与内存池 避免显存分配释放的开销
20
请求调度：优先级与排队策略 高优请求插队，公平性保证
21
精度评估：如何量化精度损失？ Perplexity、Benchmark、下游任务评估
22
校准数据集：选对数据，量化成功一半 校准集分布与真实数据分布不一致
23
异常值处理：量化中的“钉子户” 某些权重特别大，不影响精度
24
逐层精度分析：找到瓶颈层 哪一层对量化最敏感？针对性保护
25
自适应精度：不同层不同精度 敏感层FP16，不敏感层INT4
26
硬件适配：NVIDIA vs AMD vs 国产芯片 不同硬件对量化和加速的支持差异
27
边缘部署：手机与IoT上的推理 资源受限场景下的精度速度平衡
28
监控与可观测性：推理系统的“仪表盘” 延迟、吞吐、精度实时监控
29
A/B测试：上线前的最后一道关 线上流量验证优化效果
30
未来趋势：从量化到神经架构搜索 自动化寻找精度与速度的最优解