📘 GGUF 全解析 · 本地部署大模型

🎯 30 章 · 从入门到实战

🧩 友好色系 GGUF 格式 · 量化 · 推理 · 部署 🏠 点击卡片跳转章节

01

GGUF格式概述什么是GGUF · GGML关系 · 兼容性/可扩展性/量化支持

02

GGUF文件结构解析文件头 · 元数据 · 张量数据布局与作用

03

GGUF量化原理量化减小体积 · Q4_0/Q5_1/Q8_0精度速度权衡

04

量化工具与llama.cpp llama.cpp量化 · 命令行参数 · HuggingFace转换

05

本地推理引擎选择 llama.cpp · Ollama · LM Studio对比安装

06

llama.cpp实战编译 · 加载GGUF · 命令行交互与API服务

07

Ollama实战安装 · 拉取GGUF · Modelfile定制 · REST API

08

LM Studio实战图形界面 · 加载/卸载 · 本地服务器 · 参数调节

09

GGUF参数调优上下文长度 · 批处理大小 · GPU层数设置

10

GGUF与Prompt工程系统提示词 · 角色设定 · Few-shot示例

11

流式输出(SSE) SSE原理 · Python流式响应 · 前端实时显示

12

函数调用(Function Calling) 定义工具函数 · 调用外部API · 结构化输出

13

嵌入(Embedding)功能文本向量 · 语义搜索 · RAG基础

14

GGUF与向量数据库 ChromaDB · FAISS · 嵌入存入数据库

15

微调基础 (LoRA/QLoRA) LoRA原理 · 在GGUF上参数高效微调

16

合并与导出 LoRA权重合并到GGUF · 导出ONNX/TensorRT

17

多模态支持 LlaVA/BakLLaVA GGUF · 图片理解与描述

18

性能监控推理速度 · 内存占用 · CPU/GPU利用率

19

并发处理多线程推理 · 请求队列 · 负载均衡

20

缓存机制 (KV Cache) KV Cache原理 · 命中率优化 · 显存/内存平衡

21

隐私与安全本地数据安全 · 敏感信息过滤 · 输出审核

22

跨平台部署 Windows/macOS/Linux · Docker容器化

23

移动端部署 Android/iOS · MLC-LLM · llama.cpp移动端

24

边缘设备部署树莓派 · Jetson Nano · 低功耗优化

25

模型合并与MoE 多个GGUF合并 · 混合专家模型(MoE)实现

26

版本管理量化版本对比 · 哈希校验 · 版本回滚

27

社区生态 HuggingFace GGUF库 · Open LLM Leaderboard

28

故障排查常见错误 · 内存不足 · 日志分析与调试

29

未来趋势 GGUF规范演进 · WebGPU/WebAssembly

30

综合实战项目本地AI助手 · 聊天/搜索/文档分析一体化