01
大模型部署概述
从训练到推理的最后一公里，部署的挑战与价值，工具链全景图
全景入门
02
核心推理引擎 (上)
vLLM 架构解析、PagedAttention、Continuous Batching
vLLM架构
03
核心推理引擎 (下)
TensorRT-LLM 深度剖析、图优化与量化、多卡并行
TensorRT并行
04
轻量化推理引擎
llama.cpp / GGUF、ONNX Runtime、MLC-LLM / TVM
边缘轻量
05
模型压缩与量化
PTQ / QAT 原理、GPTQ/AWQ/GGML 对比、KV-Cache 量化
量化压缩
06
服务化与API网关
TGI 部署、Ray Serve / BentoML、Kserve / Triton
网关服务化
07
分布式推理框架
DeepSpeed-FastGen、FlexGen offloading、Alpa 自动并行
分布式并行
08
异构计算与硬件适配
NVIDIA CUDA/Triton、AMD ROCm、Apple CoreML/Metal
异构硬件
09
边缘端与端侧部署
MediaPipe / TF Lite、Qualcomm SNPE/QNN、CoreML 实战
端侧边缘
10
模型格式与中间表示
ONNX 标准、OpenVINO IR、HuggingFace SafeTensors
格式互操作
11
推理优化技术 (上)
FlashAttention / vLLM、Speculative Decoding、Medusa
优化解码
12
推理优化技术 (下)
Streaming LLM、Prompt Caching、Prefix Caching
缓存流式
13
调度与资源管理
Kubernetes GPU 调度、Volcano/Yunikorn、MIG
调度K8s
14
监控与可观测性
Prometheus+Grafana、OpenTelemetry、日志聚合
监控观测
15
A/B测试与灰度发布
模型版本管理、流量路由、Shadow Deployment
灰度A/B
16
安全与合规
模型加密、Guardrails 过滤、数据脱敏与隐私
安全合规
17
开源 vs 商业工具链
HuggingFace TGI vs 商业、NVIDIA AI Enterprise、Bedrock
对比选型
18
云原生部署方案
Docker 优化、Helm Chart、Serverless 推理
云原生Serverless
19
多模态模型部署
LLaVA/CLIP、Stable Diffusion 优化、Whisper 实时推理
多模态语音
20
长上下文推理
Ring Attention、YaRN / NTK-aware、LongLoRA
长文本位置编码
21
MoE (混合专家) 部署
Mixtral 8x7B 策略、Expert Parallelism、负载均衡
MoE稀疏
22
量化感知训练 (QAT)
PyTorch FX / torch.ao、NVIDIA QAT Toolkit、蒸馏量化
QAT蒸馏
23
推理成本优化
Spot Instance、冷启动优化、模型缓存与预热
成本Spot
24
多租户与资源隔离
cgroup / GPU 隔离、Namespace、QoS 保障
隔离多租户
25
CI/CD for ML
MLflow 模型注册、GitHub Actions 部署、版本回滚
CI/CDMLOps
26
基准测试与压力测试
LLM Perf / Benchmarks、吞吐/延迟权衡、Tail Latency
基准压力
27
前沿趋势
推测性解码最新进展、Attention Sinks、Mamba 部署
前沿SSM
28
案例研究
ChatGPT 架构、Llama 3 部署实战、企业 RAG 系统
案例实战
29
工具链选型决策矩阵
性能/成本/易用性权衡、团队能力、生态兼容性
决策矩阵
30
未来展望
硬件演进 H100/B200/ASIC、软件栈收敛、AI Native 基础设施
展望趋势