📘 GGUF 量化实战
30 章 · 从零到部署
🎓 入门 · 进阶
01
GGUF 初探
什么是 GGUF？为什么需要 GGUF？GGML 的关系。
02
环境准备
安装 llama.cpp、编译工具链、Python 依赖库。
03
模型下载与转换
HuggingFace 下载 & PyTorch → GGUF 转换。
04
量化原理浅析
浮点/整数表示 · 量化误差 · q4_0, q5_1, q8_0 含义。
05
实战：llama.cpp 量化
命令行参数详解 · 不同量化级别对比实验。
06
量化模型推理
加载量化模型 · CPU 推理 & GPU 加速。
07
量化模型评估
困惑度 (PPL) · 推理速度 · 大小/质量权衡。
08
高级技巧
自定义量化参数 · 混合精度 · K-quants 详解。
09
部署与集成
GGUF 集成到 Python · llama-cpp-python 库。
10
常见问题与排错
量化失败 · 推理异常 · 性能瓶颈分析。
11
GGUF 文件结构解析
文件头 · 元数据 · 张量存储格式。
12
量化算法深入
对称/非对称量化 · 逐层/逐通道量化。
13
实战：量化 7B 模型
从下载到部署的全流程 · 7B 量化。
14
边缘设备部署
树莓派 · 手机等低功耗场景。
15
GGUF 与 Ollama/LM Studio
集成 Ollama · LM Studio 等工具。
16
量化模型微调 & LoRA
LoRA 与 GGUF 结合 · 适配。
17
性能优化
批量推理 · KV 缓存 · 多线程设置。
18
精度恢复 & 知识蒸馏
校准数据集 · 蒸馏技术。
19
GGUF 社区生态
主流模型库 · 工具链 · 最佳实践。
20
实战：量化视觉语言模型
LLaVA 等 VLM 量化。
21
版本管理 & 兼容性
兼容性检查 · 模型签名。
22
编写 GGUF 解析器
理解二进制格式 · 从零解析。
23
隐私与安全
模型加密 · 水印技术。
24
大规模量化部署
Docker · Kubernetes 管理量化服务。
25
监控与日志
推理延迟 · 吞吐量 · 错误率。
26
未来趋势
GGUF/GGML 演进 · 新量化算法 (IQ)。
27
实战：量化 CodeLlama
代码生成模型量化。
28
A/B 测试量化方案
如何选择最优量化方案。
29
案例研究
某公司用 GGUF 降低 80% 推理成本。
30
课程总结 & 项目实战
构建完整量化模型推理服务。