🧠

GGUF 部署架构 · 课程目录

🎓 企业级实战 · 30章
从基础到前沿 · 全链路架构设计 📚 共 30 章节
01
GGML与GGUF基础
GGML起源 GGUF诞生 优势对比 核心数据结构
开始学习 →
02
模型量化原理
量化减少大小 Q4_0 / Q4_K_M Q5_0 / Q8_0 精度与策略
开始学习 →
03
llama.cpp核心架构
项目概览 模型加载 推理引擎 内存管理 多线程并行
开始学习 →
04
单机部署方案
Linux编译 CPU推理 GPU加速(CUDA/Metal) 内存显存规划 性能调优
开始学习 →
05
API服务化部署
llama.cpp server RESTful API 并发请求 请求队列与批处理 健康检查
开始学习 →
06
Docker容器化部署
Dockerfile编写 镜像构建优化 多阶段构建 环境变量 容器编排
开始学习 →
07
Kubernetes集群部署
K8s基础 Pod/Deployment Service/Ingress ConfigMap/Secret HPA
开始学习 →
08
负载均衡与网关
Nginx反向代理 负载均衡策略 Kong/APISIX 限流与熔断
开始学习 →
09
模型版本管理
模型仓库设计 版本号规范 热加载与切换 回滚策略 签名校验
开始学习 →
10
缓存策略设计
KV Cache原理 缓存命中率 分布式缓存(Redis) 缓存预热与淘汰
开始学习 →
11
高可用架构设计
主备切换 多副本部署 故障检测恢复 数据一致性 异地多活
开始学习 →
12
性能基准测试
TPS/延迟/吞吐量 wrk / hey 测试场景设计 结果分析报告
开始学习 →
13
监控与告警体系
Prometheus Grafana仪表盘 GPU/内存/延迟 告警规则
开始学习 →
14
日志收集与分析
ELK/EFK栈 结构化日志 日志级别管理 日志采样存储 异常告警
开始学习 →
15
安全加固实践
模型文件加密 API鉴权(JWT/Key) 请求白名单 速率限制 安全审计日志
开始学习 →
16
多模型管理
模型路由 热插拔 资源隔离 优先级调度 沙箱环境
开始学习 →
17
推理加速技术
Flash Attention vLLM/PagedAttention Continuous Batching 算子融合
开始学习 →
18
边缘端部署
嵌入式适配 模型裁剪蒸馏 ONNX Runtime TFLite转换 功耗优化
开始学习 →
19
混合云部署
公有云+私有云 数据安全传输 跨云模型同步 成本优化 灾备方案
开始学习 →
20
CI/CD流水线
模型测试自动化 部署流水线 灰度发布 A/B测试 回滚自动化
开始学习 →
21
成本优化
GPU实例选型 Spot实例 预留实例 资源超分比 成本监控预算
开始学习 →
22
多租户架构
租户隔离 资源配额 计费计量 租户监控 数据隔离
开始学习 →
23
模型微调与部署联动
LoRA微调原理 微调模型导出 热加载权重 多LoRA管理 版本控制
开始学习 →
24
流式推理实现
SSE协议 WebSocket 流式输出优化 客户端适配 断线重连
开始学习 →
25
函数计算(Serverless)部署
阿里云函数计算 AWS Lambda 冷启动优化 无状态设计 弹性伸缩
开始学习 →
26
模型蒸馏与部署
教师-学生模型 蒸馏训练流程 部署蒸馏模型 精度与速度权衡
开始学习 →
27
GPU虚拟化与共享
MIG技术 vGPU方案 GPU时间片调度 显存动态分配
开始学习 →
28
合规与审计
内容审核 敏感词过滤 数据脱敏 合规日志 监管报告
开始学习 →
29
故障排查实战
启动失败 OOM定位 推理速度异常 模型加载失败 <