🦙 llama.cpp GGUF 优化
📘 30章 实战目录
⚡ 推理性能 · 风格
01
GGUF推理性能优化概述
为什么需要优化GGUF推理？性能瓶颈分析：内存带宽、计算单元、模型架构。
02
llama.cpp框架核心架构解析
模块划分：加载器、上下文管理、推理引擎、采样器；数据流与执行流程。
03
GGUF模型格式深度剖析
文件结构：元数据、张量数据、量化参数；Q4_0, Q5_1, Q8_0内存布局与计算特性。
04
量化技术基础
线性/非线性量化，对称/非对称，量化误差来源与影响。
05
K-Quant量化家族详解
Q2_K~Q6_K演进，分组量化策略，超块大小/分组大小对精度速度影响。
06
IQ (Importance-aware) 量化
基于激活值重要性的量化，IQ2_XXS~IQ4_NL性能与精度权衡。
07
量化参数调优实战
根据硬件/任务选择量化类型，踩坑经验分享。
08
CPU推理优化
AVX2/AVX512加速，内存对齐与缓存优化，多线程并行策略。
09
GPU推理优化 (CUDA后端)
CUDA kernel优化，张量并行与流水线并行，显存管理。
10
Metal后端优化 (Apple Silicon)
统一内存架构优势，MPS图执行优化，神经引擎利用。
11
Vulkan后端优化
跨平台GPU加速，Shader编译与缓存，计算管线优化。
12
批处理与并发推理
动态批处理，Continuous Batching，请求调度与排队。
13
KV Cache优化
内存占用分析，PagedAttention，共享前缀缓存(RadixAttention)。
14
上下文长度扩展
RoPE外推与NTK-aware，YaRN与线性缩放，长上下文性能衰减。
15
推测解码 (Speculative Decoding)
草稿模型选择，验证策略，实际项目加速比。
16
Flash Attention集成
Flash Attention v1/v2/v3原理，llama.cpp实现状态，显存速度收益。
17
模型剪枝与稀疏化
结构化/非结构化剪枝，2:4稀疏模式，GGUF可行性。
18
知识蒸馏与模型压缩
蒸馏训练流程，GGUF部署适配，精度保持技巧。
19
编译优化
CMake构建选项(-DLLAMA_CUDA等)，编译器标志，LTO与PGO。
20
内存管理优化
内存池设计，预分配，碎片整理，mmap与预加载。
21
采样器性能优化
Top-K/Top-P加速，温度/重复惩罚计算优化，随机数生成器选择。
22
Prompt处理优化
Prompt缓存与复用，Tokenization加速，并行预处理。
23
模型加载与卸载优化
懒加载，模型分片加载，热加载与热卸载。
24
性能Profiling工具
perf, nsys, ncu, Xcode Instruments，火焰图，瓶颈定位。
25
基准测试与指标
TPS, TTFT, 内存带宽利用率，延迟分布。
26
多GPU与分布式推理
张量并行(TP)与流水线并行(PP)，数据并行(DP)，NCCL优化。
27
混合精度推理
FP16/BF16与INT4/INT8混合使用，精度速度平衡，硬件支持。
28
低延迟场景优化
流式输出优化，中断响应，抢占式调度，实时性保障。
29
高吞吐场景优化
请求合并，负载均衡，异步处理，队列管理。
30
综合案例：全链路优化实战
从模型选择到生产部署，性能调优checklist，常见问题与解决方案。
🦙
⚡