📘 GGUF 压缩·速度调优
30章实战
🎯 友好色系
1
GGUF基础认知
起源·设计目标·GGML关系·核心优势
2
量化原理入门
浮点与定点·精度损失·scale/zero-point
3
常见量化格式
Q2_K~Q8_0 位宽与特性对比
4
压缩率计算
原始大小·量化后·压缩比·案例分析
5
速度影响因素
内存带宽·计算单元·批处理·上下文
6
硬件适配策略
CPU vs GPU·显存带宽·x86/ARM
7
llama.cpp工具链
编译·转换·量化命令·参数详解
8
量化实操(一)
FP16→Q4_K_M·命令行与输出
9
量化实操(二)
批量量化·不同等级模型文件
10
速度基准测试
内置benchmark·tokens/s指标
11
内存带宽测试
测量系统内存带宽·硬件瓶颈
12
压缩率-速度曲线
不同量化等级关系图
13
质量评估方法
perplexity·偏差分析
14
实际任务测试
翻译·摘要·代码生成对比
15
混合量化策略
不同层不同精度·平衡质量速度
16
KV缓存量化
Q4_0/Q8_0·长上下文优化
17
注意力机制优化
Flash Attention与量化协同
18
批处理优化
动态批处理·连续批处理·吞吐量
19
上下文长度调优
短/长上下文·量化选择策略
20
CPU推理优化
线程数·NUMA·AVX2/AVX512
21
GPU推理优化
层卸载·GPU并行·显存与速度
22
模型剪枝与量化
结构化剪枝后量化·注意事项
23
知识蒸馏与量化
蒸馏小模型后量化·压缩率提升
24
量化感知训练
QAT原理·GGUF限制·替代方案
25
多模型对比
Llama/Mistral/Qwen/DeepSeek
26
生产环境部署
API服务·并发·热加载
27
边缘设备部署
手机·树莓派·低功耗优化
28
常见问题排查
乱码·速度慢·显存溢出
29
自动化调优工具
脚本自动搜索最优量化参数
30
未来趋势
GGUF生态·新格式·硬件适配