🦙 llama.cpp 转换·格式
30 章 · 完整目录
从入门到精通
01
llama.cpp 初识
什么是llama.cpp · 核心优势与场景
02
环境搭建
Linux/Mac/Windows 编译 · 依赖安装
03
模型格式概览
GGUF/GGML/PyTorch/SafeTensors 区别
04
GGUF格式详解
文件结构 · 张量存储 · 分片机制
05
模型下载与准备
Hugging Face下载 · 完整性校验
06
PyTorch模型导出
使用transformers导出PyTorch格式
07
convert.py脚本入门
llama.cpp转换脚本 · 参数详解
08
FP32与FP16转换
精度选择 · 大小与推理速度
09
量化基础
什么是量化 · 精度损失分析
10
Q4_0量化
最常用4-bit · 原理与实操
11
Q4_K_M量化
K-quant家族 · 平衡速度与精度
12
Q5_0与Q5_1量化
5-bit · 更高精度选择
13
Q8_0量化
8-bit · 几乎无损压缩
14
K-quant家族详解
Q2_K ~ Q6_K · 量化级别对比
15
量化参数调优
硬件与任务 · 方案选择
16
实战：Llama 3 8B
PyTorch → GGUF 完整转换
17
实战：Mistral 7B
SafeTensors → GGUF 转换
18
实战：CodeLlama 34B
分片与量化
19
自定义模型转换
非标准架构 Mamba / RWKV
20
转换常见错误
内存不足 · 版本不兼容 · 张量名
21
模型验证
正确性验证 · logits对比
22
性能基准测试
量化级别 · 速度与内存对比
23
多GPU支持
量化模型分布多卡
24
CPU推理优化
AVX2/AVX512/NEON 指令集
25
GPU加速
cuBLAS / CLBlast / Metal
26
模型合并与分片
LoRA权重合并到基座
27
模型格式互转
GGUF ↔ ONNX / TensorRT
28
安全与合规
数据安全 · 模型许可证检查
29
自动化转换流水线
批量转换与量化脚本
30
未来展望
GGUF演进 · 社区动态与新特性