1

llama.cpp简介

什么是llama.cpp 为什么选择 社区生态

2

环境搭建

Linux/Win/Mac CMake/OpenBLAS/CUDA 编译错误解决

3

模型获取与转换

HuggingFace下载 convert.py q4_0/q5_1/q8_0

4

纯文本推理基础

main命令 上下文窗口 温度/top_p

5

多模态模型概述

LLaVA/BakLLaVA/Moondream 与纯文本区别

6

LLaVA模型原理

视觉编码器CLIP 投影层 语言模型协同

7

llava-cli命令行工具

编译llava-cli --image/--mmproj 图片描述任务

8

图像预处理

缩放与裁剪 图像分块Patch 视觉Token数量

9

多模态模型量化

视觉编码器量化 混合精度推理 精度损失评估

10

批处理推理

多图同时处理 batch size 内存与吞吐量

11

多轮对话

图片上下文中对话 对话历史维护 重置上下文

12

视频帧提取与推理

ffmpeg提取帧 逐帧/关键帧 视频描述生成

13

文档OCR与理解

文字提取 表格结构识别 结合OCR

14

自定义视觉编码器

替换CLIP为SigLIP 修改源码 适配新编码器

15

性能分析工具

perf/nsys 内存带宽与计算 Profiling解读

16

服务化部署

HTTP Server REST API 并发请求

17

Python绑定

llama-cpp-python 加载多模态模型 FastAPI集成

18

边缘设备部署

树莓派/Jetson Nano 模型裁剪蒸馏 功耗优化

19

模型微调与适配

LoRA微调 图文数据集 合并LoRA到GGUF

20

幻觉问题处理

常见幻觉类型 温度与重复惩罚 规则过滤

21

安全与内容审核

敏感图片检测 输出内容过滤 关键词拦截

22

多语言支持

中文图片理解 中文字符编码 双语模型选择

23

模型对比评测

LLaVA-1.5/NeXT Qwen-VL llama.cpp表现

24

流式输出

Token流式响应 WebSocket推送 前端实时显示

25

缓存机制

KV Cache原理 Cache与上下文 持久化Cache

26

混合专家模型MoE

MoE架构多模态 llama.cpp支持 推理速度优化

27

调试与日志

--verbose 调试视觉编码器 错误码解读

28

社区贡献与插件

常用插件 自定义采样器 第三方集成

29

生产环境最佳实践

高可用架构 监控与告警 模型热更新

30

未来展望

多模态发展趋势 llama.cpp路线图 多模态Agent