📘 GGUF · 低算力实战
30 章 · 从入门到部署
01
GGUF 模型基础认知
格式定义 · GGML 关系 · 低算力适配原理
↗
02
低算力设备硬件分析
CPU/内存/NPU 瓶颈 · 树莓派 · Jetson · 旧笔记本
↗
03
模型选型核心指标
参数量 · 量化精度 · 上下文 · 推理速度
↗
04
量化技术详解
FP16→INT4 · 精度/速度权衡 · 量化级别
↗
05
主流 GGUF 模型库
Llama.cpp · Ollama · LM Studio 安装与基础
↗
06
模型下载与资源获取
Hugging Face · ModelScope · 低算力筛选
↗
07
环境搭建实战
树莓派4B/5 编译 Llama.cpp · Python 虚拟环境
↗
08
命令行推理基础
main 命令 · -m -p -n -t 参数详解
↗
09
Python API 调用
llama-cpp-python · 推理脚本编写
↗
10
性能基准测试
tokens/s 测量 · 模型/量化对比
↗
11
内存优化技巧
n_gpu_layers · batch_size · ctx_size
↗
12
CPU 推理优化
OpenBLAS · AVX2 · 线程数调整
↗
13
GPU / NPU 加速
Jetson CUDA · 树莓派 Vulkan
↗
14
模型裁剪与蒸馏
剪枝 · 知识蒸馏 · 预裁剪 GGUF
↗
15
Prompt 工程入门
高效模板 · 减少推理负担
↗
16
流式输出实现
Python 流式生成 · 体验优化
↗
17
对话系统搭建
命令行 / Web 聊天机器人
↗
18
函数调用 Function Calling
低算力工具调用实现
↗
19
Embedding 模型选型
bge-small · 低算力 RAG 嵌入
↗
20
本地知识库 RAG 实战
LlamaIndex / LangChain 轻量 RAG
↗
21
文档解析与分块
Tika · PyMuPDF · chunk_size 设置
↗
22
向量数据库选型
ChromaDB · FAISS 低算力部署
↗
23
多模态模型入门
LLaVA · Qwen-VL 轻量多模态 GGUF
↗
24
图像描述生成
多模态 GGUF 本地图像描述
↗
25
模型微调基础
LoRA 微调 · 低算力小模型
↗
26
模型合并与导出
LoRA 合并 · 导出 GGUF 格式
↗
27
服务化部署
FastAPI 封装 · RESTful 推理接口
↗
28
功耗与散热管理
功耗监控 · 推理任务上限设置
↗
29
常见问题排查
OOM · 加载失败 · 速度过慢诊断
↗
30
项目实战 · 本地 AI 助手
树莓派完整部署 · 综合应用
↗