llama.cpp 实战
⚙️ 硬件加速
📚 30 章 · 从入门到调优
🔥
1
01
llama.cpp 初探
什么是 llama.cpp？为什么需要它？核心优势与适用场景。
2
02
编译环境搭建
Linux/macOS/Windows 完整流程与常见坑。
3
03
CPU 推理基础
纯 CPU 推理流程，量化模型 Q4_0, Q5_K_M 的使用。
4
04
OpenBLAS 加速
集成 OpenBLAS，CPU 多核并行加速矩阵运算。
5
05
Intel MKL 加速
集成 Intel MKL，针对 Intel CPU 极致优化。
6
06
cuBLAS 加速 (NVIDIA GPU)
集成 cuBLAS，让 llama.cpp 跑在 NVIDIA GPU 上。
7
07
CUDA 核心适配
深入 CUDA kernel，理解 GPU 计算调用。
8
08
ROCm 加速 (AMD GPU)
在 AMD GPU 上使用 ROCm 后端运行 llama.cpp。
9
09
Vulkan 加速
跨平台 GPU 加速方案，Vulkan 后端编译与使用。
10
10
Metal 加速 (Apple Silicon)
M1/M2/M3 Mac 上利用 Metal 框架加速推理。
11
11
SYCL 加速 (Intel GPU)
集成 SYCL，支持 Intel 集成显卡和 Arc 独显。
12
12
WebGPU 加速
浏览器端运行 llama.cpp，WebGPU 后端探索。
13
13
多 GPU 并行
配置多张 GPU 进行张量并行推理。
14
14
内存优化
KV Cache 管理、offloading 策略、显存与内存平衡。
15
15
量化技术详解
Q2 到 Q8，不同量化级别对性能与精度的影响。
16
16
K-quants 量化
llama.cpp 特有的 K-quants 量化方法，原理与实践。
17
17
IQ (重要性量化)
基于重要度的量化，低比特下保住精度。
18
18
Prompt 处理优化
Batch size 调优、prompt caching、连续批处理。
19
19
Decoding 策略
Greedy、Beam Search、Top-K、Top-P 实现。
20
20
Server 模式
HTTP Server 搭建，API 调用与并发处理。
21
21
Embedding 与向量化
提取文本 embedding，对接向量数据库。
22
22
Vision 模型支持
llama.cpp 对 LLaVA 等多模态模型的支持与适配。
23
23
Speculative Decoding
投机解码原理，如何在 llama.cpp 中启用加速。
24
24
Flash Attention 集成
Flash Attention 移植与性能收益。
25
25
自定义算子开发
为 llama.cpp 编写自定义 CUDA/Vulkan kernel。
26
26
性能 Profiling
使用 nsys、ncu、perf 分析 llama.cpp 瓶颈。
27
27
交叉编译
为 ARM、RISC-V 等嵌入式平台交叉编译。
28
28
容器化部署
Docker 打包推理服务，支持 GPU 透传。
29
29
生产环境调优
吞吐量、延迟、并发三维度生产级调优。
30
30
未来展望
社区动态、新硬件支持趋势、学习路径建议。