GGUF · GPTQ 量化选型
🎯 30 章完整指南
v1.0
01
量化基础概念
什么是模型量化 · 为什么需要量化 · 精度与速度权衡
02
GGUF格式详解
llama.cpp生态 · 文件结构 · 元数据 · CPU推理设计
03
GPTQ格式详解
AutoGPTQ生态 · 逐层量化 · Hessian矩阵
04
GGUF vs GPTQ 核心差异
推理设备 · 量化速度 · 精度损失 · 生态对比表
05
量化精度对比实验
Llama-2-7B · q4_0 vs 4bit · PPL & 下游任务
06
推理速度对比实验
CPU GGUF vs GPU GPTQ · tokens/s 实测
07
显存占用对比
CPU内存 vs GPU显存 · 资源需求分析
08
量化级别选择
q2_k~q8_0 · 2bit~8bit · 硬件选级指南
09
GGUF量化工具
llama.cpp quantize · 命令行参数详解
10
GPTQ量化工具
AutoGPTQ · Python代码 · 参数调优
11
GGUF模型加载与推理
llama.cpp main · CPU推理实战
12
GPTQ模型加载与推理
AutoGPTQ / transformers · GPU推理
13
GGUF在边缘设备部署
树莓派 · 手机 · 低算力应用案例
14
GPTQ云端推理服务
vLLM · TGI · 高吞吐部署
15
混合部署策略
GGUF(CPU)+GPTQ(GPU) · 自动切换
16
GGUF社区生态
llama.cpp · Ollama · LM Studio
17
GPTQ社区生态
AutoGPTQ · ExLlamaV2 · HuggingFace
18
量化模型兼容性问题
文件通用性 · 版本兼容注意事项
19
量化模型微调与适配
LoRA适配器 · 量化后微调
20
GGUF的KV缓存优化
llama.cpp KV缓存 · 长上下文内存优化
21
GPTQ批处理优化
批量推理性能 · 动态批处理策略
22
量化模型精度恢复技术
Hessian校准 · 混合精度 · QAT
23
GGUF vs GPTQ 量化速度对比
7B模型量化时间 · 资源消耗
24
量化模型部署成本分析
CPU/GPU硬件 · 电费 · 运维对比
25
GGUF在Mac M系列优化
Metal加速 · 统一内存优势
26
GPTQ在NVIDIA GPU优化
Tensor Core · FasterTransformer · CUDA图
27
量化模型评测方法论
MMLU · GSM8K · 科学评估
28
GGUF与GPTQ选型决策树
硬件/场景/精度 → 选型流程图
29
未来趋势：AWQ · QuIP 等
新量化格式 · GGUF/GPTQ演进
30
实战案例：量化聊天助手
GGUF(CPU) + GPTQ(GPU) 完整流程