GGUF 量化参数调优 · 完全指南
🎯 30 章
从入门到精通
🧩 点击章节卡片，跳转至对应课程文件（.html）
📚 共 30 个量化实战模块
1
GGUF与量化基础
GGUF格式 · 为什么量化 · 速度/精度/内存
2
量化原理精讲
浮点vs定点 · 对称/非对称 · per-tensor vs per-channel
3
主流量化方法对比
Q4_0 · Q4_K_M · Q5_K_M · Q8_0 · F16
4
量化参数全景图
bits · group_size · sym · desc_act 详解
5
环境搭建与工具链
llama.cpp编译 · Python绑定 · HF模型下载
6
命令行量化实战
quantize工具 · 一键量化
7
Python API量化
llama-cpp-python 编程式量化
8
量化参数调优方法论
网格搜索 · 贝叶斯优化 · 验证集评估
9
精度评估指标
PPL · 下游任务准确率 · 人类偏好
10
速度与内存基准测试
推理速度 · 内存占用 · 首Token延迟
11
group_size调优
32~256 · 精度与速度影响
12
bits数选择
2-bit到8-bit · 精度与压缩比权衡
13
sym参数调优
对称vs非对称 · 何时sym=True
14
desc_act参数
激活值感知量化 · 提升低比特精度
15
混合精度量化
不同层不同比特 · 最佳性价比
16
K-quant详解
Q2_K~Q6_K · llama.cpp K-quant家族
17
IQ量化
Imatrix量化原理 · 极端压缩实战
18
量化后微调 (QAT)
量化感知训练 · 突破精度瓶颈
19
校准数据集选择
代表性子集 · 避免过拟合
20
多模型对比实验
LLaMA · Mistral · Qwen 表现差异
21
长上下文量化
长文本生成影响与优化策略
22
量化模型部署
CPU/GPU/NPU 部署差异与优化
23
量化模型合并
LoRA适配器 + 量化基座合并
24
量化模型服务化
llama.cpp server · API部署
25
量化模型安全
安全性 · 鲁棒性评估
26
量化参数自动搜索
自动化调参流水线
27
量化模型评测工具
lm-eval-harness 标准化评测
28
量化模型对比报告
撰写专业量化对比报告
29
量化模型常见问题
精度下降 · 输出重复 · 显存溢出
30
量化模型未来趋势
FP8 · NF4 · 下一代量化技术