📘 GGUF 私有化部署
一键实战
🧩 30 章完整目录
⚡ 从零到企业级
🐧 Linux / Win
🤖 CPU+GPU
📦 llama.cpp
01
GGUF与私有化部署概述
GGUF格式
为什么选择
私有化价值
路线图
02
环境准备
Linux/WSL
Python
Git/Cmake
硬件要求
03
模型获取与GGUF转换
HuggingFace
llama.cpp转换
量化选项
04
llama.cpp编译与安装
源码编译
Windows预编译
Makefile
验证
05
一键部署脚本设计 (上)
Shell脚本
参数化
路径检测
日志/错误
06
一键部署脚本设计 (下)
Python封装
Web UI
API服务
守护进程
07
CPU推理部署
纯CPU
内存优化
线程调优
性能对比
08
GPU加速部署
CUDA
Vulkan
n-gpu-layers
显存分析
09
混合部署 (CPU+GPU)
分层卸载
带宽瓶颈
取舍
踩坑
10
API服务搭建
OpenAI兼容
server模式
请求/响应
并发测试
11
Web前端集成
Gradio
Streamlit
自定义样式
流式输出
12
命令行交互工具
Python交互
readline
参数解析
批量推理
13
模型量化深入
量化级别对比
质量评估
混合量化
工具链
14
上下文窗口管理
上下文长度
KV缓存
长文本技巧
滑动窗口
15
提示词工程与模板
系统提示词
角色模板
few-shot
变量替换
16
函数调用 (Function Calling)
GGUF支持
函数定义
调用流程
案例
17
嵌入 (Embedding) 服务
文本嵌入
向量维度
相似度
RAG基础
18
RAG检索增强生成
文档分块
Chroma/FAISS
检索流程
GGUF结合
19
多轮对话管理
对话存储
上下文压缩
Token计数
持久化
20
性能监控与调优
推理速度
内存/显存监控
Profiling
瓶颈定位
21
Docker容器化部署
Dockerfile
镜像构建
容器运行
docker-compose
22
多模型管理
模型仓库
动态加载
热更新
版本管理
23
安全与权限控制
API密钥
IP白名单
频率限制
内容过滤
24
日志与审计
请求日志
错误分析
日志轮转
监控告警
25
高可用部署
负载均衡
多实例
故障转移
健康检查
26
边缘设备部署
树莓派
Jetson Nano
模型压缩
功耗优化
27
企业级集成
LDAP/SSO
数据库存储
审批流程
合规性
28
常见问题与排错
加载失败
OOM
速度慢
乱码/兼容
29
实战项目：企业知识库问答
需求分析
架构设计
部署实施
效果评估
30
课程总结与进阶方向
GGUF生态
新模型
社区资源
学习路径