vLLM 推理精度控制 · 课程目录

01

vLLM推理精度控制概述

为什么需要精度控制？vLLM中的精度控制机制概览。

📘 01.html

02

量化基础：FP16、BF16、INT8、INT4

数据类型的原理与选择，精度与性能的起点。

📘 02.html

03

vLLM中的FP16/BF16推理

配置方法、性能对比与精度影响。

📘 03.html

04

vLLM中的INT8量化

动态量化与静态量化的原理与实现。

📘 04.html

05

vLLM中的INT4量化

GPTQ、AWQ等算法的集成与配置。

📘 05.html

06

量化感知训练(QAT)与vLLM

如何将QAT模型导入vLLM。

📘 06.html

07

原理、配置与对长序列推理的影响。

📘 07.html

08

精度与吞吐量的权衡

如何根据业务场景选择合适的精度。

📘 08.html

09

vLLM中的采样参数

temperature、top_p、top_k对生成质量的影响。

📘 09.html

10

重复惩罚与频率惩罚

控制生成文本的多样性。

📘 10.html

11

停止词与前缀词

精确控制生成内容的边界。

📘 11.html

12

引导解码(Guided Decoding)

使用JSON Schema约束输出格式。

📘 12.html

13

对数概率(Logprobs)的获取与分析

调试模型输出的利器。

📘 13.html

14

提示(Prompt)工程与vLLM

如何编写高效的提示词。

📘 14.html

15

多轮对话中的精度控制

历史消息管理与上下文窗口。

📘 15.html

16

vLLM的日志与监控

如何开启调试日志，分析推理过程。

📘 16.html

17

常见精度问题排查

输出乱码、重复、不符合预期的原因与解决。

📘 17.html

18

模型加载与权重精度

加载FP32模型与量化模型的差异。

📘 18.html

19

vLLM与Hugging Face模型的精度对齐

确保推理结果一致。

📘 19.html

20

批处理(Batching)对精度的影响

动态批处理与连续批处理的差异。

📘 20.html

21

前缀缓存(Prefix Caching)的精度考量

缓存命中与未命中的一致性。

📘 21.html

22

投机解码(Speculative Decoding)的精度控制

草稿模型与目标模型的协同。

📘 22.html

23

多模态模型(如LLaVA)的精度控制

图像与文本的联合推理。

📘 23.html

24

分布式推理的精度一致性

张量并行与流水线并行的精度对齐。

📘 24.html

25

使用vLLM的`--dtype`参数

自动选择与手动指定。

📘 25.html

26

自定义量化配置

通过量化配置文件精细控制每层精度。

📘 26.html

27

精度基准测试

使用lm-evaluation-harness评估量化后模型。

📘 27.html

28

vLLM的`--trust-remote-code`与精度

自定义模型代码的风险。

📘 28.html

29

回滚与版本管理

不同vLLM版本间的精度差异与兼容性。

📘 29.html

30

综合案例：从模型量化到部署的全流程精度控制

端到端精度控制方案。

📘 30.html