01
模型加载优化
模型文件格式解析（PyTorch、SafeTensors）、内存映射加载、分布式加载策略、模型权重预热。
加载内存映射分布式
02
显存管理
显存碎片化问题、梯度检查点、混合精度训练、显存监控与回收。
显存梯度检查点混合精度
03
推理引擎选择
ONNX Runtime、TensorRT、vLLM、llama.cpp 的对比与选型。
推理引擎选型
04
量化技术
INT8/INT4量化、GPTQ、AWQ、量化感知训练、量化后的精度损失评估。
量化INT8GPTQ
05
KV Cache优化
KV Cache原理、PageAttention、共享前缀、KV Cache量化。
KV CachePageAttention
06
批处理策略
动态批处理、连续批处理、请求调度算法、吞吐量与延迟权衡。
批处理调度吞吐量
07
模型剪枝
结构化剪枝、非结构化剪枝、剪枝后的微调恢复、剪枝工具链。
剪枝结构化微调
08
知识蒸馏
软标签蒸馏、特征蒸馏、蒸馏架构设计、蒸馏在部署中的应用。
蒸馏软标签部署
09
算子融合
FlashAttention、Fused Kernel、算子融合策略、自定义CUDA算子。
算子融合FlashAttentionCUDA
10
计算图优化
静态图与动态图、JIT编译、TorchScript、图优化Pass。
计算图JITTorchScript
11
内存优化
内存复用、内存池、零冗余优化（ZeRO）、CPU Offloading。
内存ZeROOffload
12
通信优化
集合通信原语、通信拓扑优化、梯度压缩、异步通信。
通信拓扑梯度压缩
13
流水线并行
GPipe、PipeDream、1F1B调度、负载均衡策略。
流水线GPipe1F1B
14
张量并行
Megatron-LM方案、张量切分策略、通信开销分析。
张量并行Megatron切分
15
数据并行
DP、DDP、FSDP、混合并行策略选择。
数据并行DDPFSDP
16
序列并行
序列维度切分、Ring Attention、长序列处理。
序列并行Ring Attention
17
专家并行
MoE架构、专家负载均衡、Top-K路由、通信优化。
MoE专家并行路由
18
服务化部署
模型服务框架（Triton、Ray Serve）、API设计、自动扩缩容。
服务化TritonRay Serve
19
请求预处理
Tokenization优化、Prompt缓存、请求合并、优先级队列。
预处理Tokenization缓存
20
输出解码优化
贪心解码、Beam Search、采样策略、投机解码。
解码Beam Search投机解码
21
流式输出
Server-Sent Events、WebSocket、流式推理接口、用户体验优化。
流式SSEWebSocket
22
延迟优化
首Token延迟、Token间延迟、预填充与解码分离、PD分离架构。
延迟首TokenPD分离
23
吞吐量优化
吞吐量瓶颈分析、并发控制、资源利用率最大化。
吞吐量并发资源
24
成本优化
算力成本、存储成本、带宽成本、Spot实例利用。
成本Spot算力
25
监控与可观测性
Metrics采集、链路追踪、日志聚合、告警体系。
监控追踪告警
26
基准测试
标准Benchmark、自定义压测、性能Profiling、瓶颈定位。
基准压测Profiling
27
A/B测试
模型版本管理、灰度发布、效果评估、回滚策略。
A/B测试灰度回滚
28
安全与合规
模型安全、输出过滤、隐私保护、合规审计。
安全隐私合规
29
边缘部署
模型压缩、端侧推理引擎、离线推理、OTA更新。
边缘压缩端侧
30
全链路案例实战
从模型训练到生产部署的完整优化案例、性能调优实战、问题排查方法论。
实战案例方法论