GGUF量化工具链 · 课程目录

01GGUF量化概述

GGUF格式量化意义推理影响GGML关系

📂 01.html →

02量化基础理论

浮点vs定点精度权衡FP16/BF16/INT8/INT4

📂 02.html →

03llama.cpp项目介绍

起源发展核心功能社区生态HuggingFace集成

📂 03.html →

04编译环境搭建

Linux环境CMake/CUDA/OpenBLASllama.cpp编译

📂 04.html →

05模型格式转换

HF下载PyTorch转GGUFconvert.py详解

📂 05.html →

06Q4_0量化实战

量化原理命令行参数过程监控模型对比

📂 06.html →

07Q4_K_M量化实战

K-quant算法质量评估适用场景对比Q4_0

📂 07.html →

08Q5_0与Q5_K_M量化

5-bit原理性能对比显存占用部署建议

📂 08.html →

09Q8_0量化实战

8-bit原理几乎无损适用场景FP16对比

📂 09.html →

10F16与F32量化

全精度转换何时需要显存计算速度对比

📂 10.html →

11自定义量化参数

block sizequant type参数调优批量脚本

📂 11.html →

12量化质量评估方法

困惑度下游任务人工评估自动化工具

📂 12.html →

13量化工具链自动化

Shell脚本Python封装批量流程日志监控

📂 13.html →

14量化模型验证

加载测试结果一致性误差分析回归测试

📂 14.html →

15量化模型部署

CPU/GPU推理混合精度内存优化

📂 15.html →

16量化模型服务化

llama.cpp serverREST API并发处理性能调优

📂 16.html →

17量化模型与LangChain集成

LangChain框架GGUF加载器Chain构建应用示例

📂 17.html →

18量化模型与Ollama集成

Ollama平台Modelfile自定义导入API调用

📂 18.html →

19量化模型与vLLM集成

vLLM框架GGUF支持性能对比大规模部署

📂 19.html →

20量化模型精度恢复

LoRA微调QLoRA原理微调实践效果评估

📂 20.html →

21量化模型安全与合规

许可证检查数据隐私模型水印合规指南

📂 21.html →

22量化模型性能基准测试

推理速度显存占用吞吐量延迟测试

📂 22.html →

23量化模型多平台部署

Windows/macOS/LinuxDocker容器

📂 23.html →

24量化模型边缘端部署

移动端嵌入式树莓派性能优化

📂 24.html →

25量化模型版本管理

版本控制配置管理模型仓库CI/CD集成

📂 25.html →

26量化模型监控与告警

推理质量性能监控异常检测告警机制

📂 26.html →

27量化模型A/B测试

版本对比用户反馈自动切换灰度发布

📂 27.html →

28量化模型成本分析

计算成本存储成本带宽成本TCO分析

📂 28.html →

29量化模型最佳实践

策略选择部署架构运维经验常见FAQ

📂 29.html →

30量化模型未来展望

新技术趋势硬件适配社区方向学习路径

📂 30.html →