GGUF 模型转换 · 30 章
📚
从入门到实战
01
GGUF格式初探
什么是GGUF？与GGML、PyTorch的关系
02
环境准备
Python · Git · CMake · C++编译环境
03
llama.cpp项目
下载源码 · 编译 · 验证
04
模型获取
Hugging Face下载原始PyTorch模型 (Llama 3)
05
模型转换 (核心)
convert.py · PyTorch → GGUF · 参数详解
06
量化入门
什么是量化？为什么需要量化？
07
量化实践
quantize · FP16 → Q4_K_M / Q5_K_M
08
模型验证
llama.cpp main 文本生成测试
09
性能调优
上下文长度 · 批处理 · 线程数
10
常见问题
转换失败 · 内存不足 · 量化效果变差
11
进阶：自定义量化
k-quants原理
12
进阶：其他架构
Mistral · Falcon · Qwen
13
进阶：server模式
搭建本地API服务
14
进阶：Python调用
llama-cpp-python库
15
实战：Ollama部署
一键运行GGUF
16
实战：LM Studio
图形化交互
17
实战：移动端
Android / iOS 使用GGUF
18
实战：RAG系统
检索增强生成
19
实战：函数调用
Function Calling
20
实战：批量转换
自动化脚本
21
原理：GGUF文件格式
Header · Metadata · Tensor Data
22
原理：格式对比
GGUF vs ONNX vs TensorRT Lite
23
原理：内存映射
Memory Mapping 机制
24
原理：CPU/GPU加速
CUDA · Metal · Vulkan
25
工具：gguf-tools
查看GGUF文件信息
26
工具：hf-mirror
加速Hugging Face下载
27
工具：ModelScope
国内镜像下载模型
28
安全：来源验证
GGUF模型安全风险
29
社区：参与llama.cpp
提交Issue与PR
30
总结：全流程回顾
最佳实践 · 未来展望