vLLM是什么
PagedAttention
高吞吐
对比传统框架
CUDA/Python
pip安装
源码编译
配置文件
加载模型
单次/批量推理
流式输出
API Server
LLaMA/Mistral/Qwen
HuggingFace
自定义模型
批处理大小
GPU内存优化
KV Cache
AWQ/GPTQ量化
Prefix Caching
Speculative Decoding
LoRA适配器
多模态
Pod/Deployment
Service/Ingress
ConfigMap/Secret
Minikube
kubeadm
EKS/GKE/ACK
基于官方镜像
自定义Dockerfile
CUDA运行时
健康检查
ClusterIP
NodePort
LoadBalancer
端口配置
Ingress Controller
域名/TLS
路径转发
NVIDIA GPU Operator
驱动验证
nvidia-docker
GPU共享
模型配置ConfigMap
API密钥Secret
挂载/热更新
Prometheus
Grafana
EFK/Loki
Liveness Probe
Readiness Probe
Startup Probe
Namespace配额
LimitRange
优先级/抢占
NetworkPolicy
Pod安全上下文
Seccomp/AppArmor
GitLab CI/GitHub Actions
镜像自动构建
自动部署K8s
TPS/TTFT
Locust压测
K8s资源监控