01
产业全景总览
定义 · 产业链角色（芯片/云/框架/应用） · 市场规模与增长趋势
宏观生态
02
核心框架概览
TensorRT · ONNX Runtime · OpenVINO · Triton 定位与对比
主流选型
03
NVIDIA TensorRT (上)
架构原理 · 层融合 · 精度校准(FP16/INT8) · 动态形状
GPU优化
04
NVIDIA TensorRT (下)
Plugin开发 · 多流执行 · Triton Server集成
高级插件
05
ONNX Runtime (上)
ONNX标准 · ORT架构 · 跨平台(CPU/GPU/移动端)
标准跨平台
06
ONNX Runtime (下)
图优化 · 内存池 · 自定义算子 · PyTorch/TF互转
性能互操作
07
Intel OpenVINO
MO与IE · Intel硬件优化(CPU/GPU/VPU) · IR中间表示
Intel边缘
08
NVIDIA Triton Inference Server
Model Repository · Scheduler · Backend · 动态批处理
服务化生产
09
Triton Server高级特性
Ensemble/BLS · Model Analyzer · Kubernetes部署
流水线K8s
10
TensorFlow Serving
架构 · 模型版本管理 · REST/gRPC · 与Triton对比
TF生产
11
PyTorch生态部署
TorchScript · TorchServe · Torch-TensorRT · Dynamo/AOT
PyTorch编译
12
移动端与边缘端部署 (上)
TFLite · Core ML · NNAPI · Qualcomm SNPE
移动边缘
13
移动端与边缘端部署 (下)
MediaPipe · MNN · TNN · Paddle Lite 选型对比
轻量对比
14
Web端与浏览器部署
WebGL/GPU · WebAssembly · TensorFlow.js · ONNX Web
浏览器WASM
15
模型压缩与量化技术
剪枝 · 蒸馏 · PTQ/QAT · 混合精度训练与部署
压缩量化
16
硬件加速器与芯片生态
GPU · NPU(寒武纪/地平线/昇腾) · FPGA · ASIC(TPU)
芯片加速
17
云原生与MLOps集成
Kubeflow · KServe · BentoML · MLflow Model Serving
MLOps云原生
18
模型格式与中间表示
ONNX · OpenVINO IR · TensorRT Plan · TorchScript · Paddle
格式互转
19
推理引擎性能评测
延迟/吞吐/显存/功耗 · MLPerf Inference基准
基准评测
20
多模态与LLM部署挑战
KV Cache · FlashAttention · vLLM · TensorRT-LLM
大模型LLM
21
安全与合规
模型加密 · 许可证 · 联邦学习 · 对抗防御
安全隐私
22
A/B测试与灰度发布
版本路由 · 流量切分 · 监控回滚
发布实验
23
边缘计算与IoT部署
AWS IoT Greengrass · Azure IoT Edge · EdgeX · 轻量选型
IoT边缘
24
异构计算与多后端调度
OpenCL · SYCL · OneAPI · 跨厂商统一推理
异构跨平台
25
模型部署的CI/CD流水线
自动化测试 · 模型注册 · 持续部署策略
CI/CDDevOps
26
成本优化与资源管理
Spot实例 · 自动扩缩容 · 模型缓存 · 冷热分离
成本弹性
27
开源社区与商业产品
OpenShift · Seldon Core · NVIDIA AI Enterprise · SageMaker
商业开源
28
行业案例研究 (上)
互联网广告推荐 · 自动驾驶感知模型部署
广告自动驾驶
29
行业案例研究 (下)
金融风控实时推理 · 医疗影像AI辅助诊断
金融医疗
30
未来趋势与职业发展
Serverless推理 · MaaS · AI芯片新架构 · 技能树
趋势职业