vLLM简介分布式推理概念课程目标与学习路径硬件与软件环境要求
PagedAttention机制KV Cache管理连续批处理vLLM架构总览
GPU服务器选型建议CUDA与NVIDIA驱动安装Docker与NVIDIA Container ToolkitPython虚拟环境搭建
源码安装与pip安装模型下载与加载启动OpenAI兼容API服务客户端调用测试
模型参数推理参数调度参数max-num-seqs / batched-tokens
内置benchmark工具吞吐量与延迟测量不同模型/参数对比性能调优技巧
模型并行 TP/PP数据并行DP张量并行原理流水线并行原理
张量并行配置流水线并行配置显存均衡与调优4卡A100部署Llama 3 70B
RDMA/InfiniBand vs TCPRay框架集成集群配置文件详解启动多节点推理服务
高性能网络需求分析InfiniBand配置与验证RoCE配置网络带宽对推理影响
Ray Cluster搭建Ray Serve部署vLLM自动扩缩容配置故障恢复机制
Hugging Face下载策略模型分片ShardingSafeTensors与PyTorch权重自定义模型加载器
FP16/INT8/INT4基础AWQ与GPTQ格式vLLM量化配置性能与精度对比
原理与适用场景启用Prefix Caching性能提升实测注意事项与限制
原理与加速效果vLLM配置推测解码草稿模型选择策略实际部署经验
视觉语言模型支持LLaVA / Qwen-VL部署多模态推理参数性能优化建议
LoRA原理简介动态加载/卸载LoRA多LoRA并发推理LoRA与量化结合
请求排队与限流超时与重试策略API Key认证鉴权日志与监控集成
LangChain基础回顾vLLM作为LLM后端Chain与Agent构建流式输出实现
自定义推理接口WebSocket实时通信批处理请求优化健康检查与探针
Prometheus指标暴露Grafana仪表盘搭建TTFT/TPOT/ITL解读告警规则配置
日志级别配置结构化日志输出ELK/EFK日志收集常见错误日志分析
主备切换策略负载均衡器 Nginx/HAProxy无状态服务设计滚动更新与蓝绿部署
模型文件安全API访问控制DDoS防护策略容器安全最佳实践
Spot/抢占式实例自动扩缩容策略模型缓存与预热GPU利用率优化
OOM显存溢出处理模型加载失败排查分布式通信超时性能瓶颈定位
单卡到多节点调优Profiling Nsight Systems内核参数优化最佳实践总结
大模型API服务平台架构日处理百万请求集群设计运维经验分享成本与收益分析
版本演进与RoadmapTGI / TensorRT-LLM / llama.cpp贡献指南学习资源推荐
核心知识点回顾分布式推理未来趋势学员进阶路径结业项目建议