GGUF 移植手册
📚 30 章完整版
v2.0
01
GGUF格式概述
什么是GGUF
GGUF与GGML
优势与设计目标
02
GGUF文件结构解析
文件头
元数据
张量数据
键值对存储
03
跨平台兼容性基础
x86 vs ARM
Linux vs Windows vs macOS
04
量化格式详解
Q2_K~Q8_0
精度与性能
实测数据
05
模型导出与转换
HuggingFace导出
llama.cpp转换
常见报错
06
Windows平台部署
MSYS2环境
CMake编译
VS2022集成
07
Linux平台部署
Ubuntu依赖
CUDA/Vulkan
Docker方案
08
macOS平台部署
Metal加速
Apple Silicon
Homebrew安装
09
Android端移植
Termux环境
NDK交叉编译
性能调优
10
iOS端移植
CoreML集成
Xcode配置
内存突破
11
树莓派与边缘设备
ARMv7/v8优化
低内存模式
NPU加速
12
Web端部署
Wasm编译
浏览器推理
内存/速度瓶颈
13
GPU加速方案
CUDA
Vulkan
Metal
OpenCL对比
14
混合精度推理
FP16+INT4
层级别控制
项目经验
15
内存优化技术
mmap
分片加载
KV Cache优化
16
推理速度调优
批处理大小
线程数
上下文长度
17
模型分片与合并
分片策略
文件合并
校验完整性
18
自定义量化参数
imatrix
校准数据集
过拟合避免
19
多模型管理
模型仓库
版本控制
热切换
20
API服务化部署
llama.cpp server
OpenAI兼容
负载均衡
21
Python绑定使用
llama-cpp-python
高级API
流式输出
22
Node.js绑定使用
node-llama-cpp
异步推理
事件驱动
23
Rust绑定使用
llama-cpp-rs
安全性
并发推理
24
C++直接调用
libllama API
自定义采样器
低级控制
25
常见错误与调试
段错误
内存泄漏
精度损失
加载失败
26
性能基准测试
平台跑分对比
量化影响
测试脚本
27
安全与合规
模型许可证
数据隐私
输出过滤
28
未来趋势
GGUF演进
多模态
硬件适配
29
实战案例一
Llama-3-8B移植Android
30
实战案例二
跨平台企业级推理集群