第 01 章
- GGUF格式的起源与设计哲学
- 嵌入式端侧推理的挑战与机遇
- GGUF在端侧的优势
第 02 章
- 交叉编译工具链安装
- CMake与依赖库配置
- 目标板（树莓派/Jetson Nano）系统准备
第 03 章
- 文件头、元数据、张量数据的二进制布局
- 使用Python读取GGUF文件
第 04 章
- 源码获取
- CPU/GPU后端编译选项
- 静态库与动态库生成
第 05 章
- Q4_0、Q5_1、Q8_0等量化格式详解
- 量化对精度与速度的影响
第 06 章
- 使用llama-quantize工具量化
- 量化参数调优
- 量化后模型验证
第 07 章
- 加载GGUF模型
- 初始化上下文
- 设置线程数与批处理大小
第 08 章
- 分词器加载
- Prompt编码
- 特殊Token处理
- 上下文窗口管理
第 09 章
- 逐Token生成
- 采样策略（Top-K、Top-P、Temperature）
- 流式输出
第 10 章
- 内存带宽优化
- 缓存机制（KV Cache）
- 算子融合与循环展开
第 12 章
- ARM NEON指令集加速
- x86 AVX2/AVX512优化
- 内存对齐
第 14 章
- 瑞芯微RK3588等NPU上运行GGUF
- 自定义算子注册
第 17 章
- C语言API设计
- Python绑定（ctypes/pybind11）
- RESTful接口
第 19 章
- 语音唤醒
- ASR集成
- GGUF驱动的LLM响应
- TTS输出
第 20 章
- 文档解析与向量化
- 检索增强生成（RAG）
- GGUF模型回答生成
第 23 章
- 日志系统
- Profiling工具（perf、gprof）
- 性能瓶颈定位
第 25 章
- 单元测试框架
- 端到端测试
- 性能基准（Tokens/s、延迟）
第 26 章
- GitHub Actions
- 自动化编译
- 固件打包与发布
第 27 章
- Hugging Face GGUF模型库
- llama.cpp社区
- 开源工具链
第 28 章
- GGUF v2/v3规范展望
- 端侧多模态模型
- 硬件协同设计