大模型GGUF格式迁移 · 避坑指南 · 课程目录

GGUF格式初探

什么是GGUF？与GGML、PyTorch的关系，为什么大模型需要GGUF？

安装llama.cpp，Windows/Linux/Mac踩坑，Python绑定安装。

HuggingFace筛选技巧，模型卡解读，GGUF模型下载。

量化是什么？GGUF量化类型：q2_k～q8_0。

量化级别选择

性能与质量权衡，实测数据分享。

模型转换 (PyTorch→GGUF)

convert.py脚本使用，常见报错及解决方案。

模型转换 (其他格式→GGUF)

SafeTensors、AWQ、GPTQ等格式转换注意事项。

llama-quantize工具，参数详解，批量量化技巧。

模型加载与推理

llama.cpp加载模型，命令行推理参数调优。

Python调用GGUF模型

llama-cpp-python库使用，API封装，流式输出。

线程数、GPU加速(CUDA/Metal/Vulkan)、批处理大小。

内存占用计算，上下文长度设置，KV Cache优化。

上下文窗口

窗口大小影响，RoPE缩放。

GGUF模型Prompt格式，角色设定，System Prompt技巧。

函数调用 (Function Calling)

GGUF模型支持函数调用吗？如何实现？

打字机效果，WebSocket推送，前端对接。

对话历史管理，Token计数，上下文溢出处理。

模型合并与分片

大模型分片存储，合并GGUF文件，分片加载。

自定义量化

修改量化参数，混合精度量化，实验性方案。

评估量化后模型质量，Perplexity计算，下游任务测试。

常见错误 (一)

Shape不匹配、Tensor缺失、版本兼容问题。

常见错误 (二)

Segmentation Fault，内存不足，CUDA OOM。

常见错误 (三)

推理乱码，重复生成，输出截断。

安全与合规

使用许可，模型来源验证，数据隐私。

服务化部署

llama.cpp server模式，RESTful API，Docker部署。

对接Text Generation WebUI、Ollama、LocalAI。

边缘设备部署

树莓派、手机、嵌入式设备运行GGUF模型。

模型微调与GGUF

LoRA微调后转GGUF，合并LoRA权重。

GGUF模型排行榜，工具链，优质博客推荐。

GGUF发展方向，新兴量化技术，行业趋势分析。