深度学习模型在线部署
📚 30章 · 实战目录
🚀
01
模型部署概述
什么是部署
延迟·吞吐·资源
部署流程概览
↗
02
环境准备
Docker基础
NVIDIA Docker & CUDA
Python虚拟环境
↗
03
模型导出与格式转换
TorchScript
ONNX格式
TensorRT转换
↗
04
ONNX Runtime部署
安装与配置
推理实现
性能调优·算子兼容
↗
05
TensorRT部署
安装配置
推理与动态形状
INT8量化
↗
06
Flask RESTful API
Flask基础
模型推理API
请求响应·并发
↗
07
FastAPI高性能部署
FastAPI基础
异步推理接口
自动文档·测试
↗
08
gRPC微服务部署
gRPC & Protobuf
推理服务定义
HTTP/2性能对比
↗
09
Triton Inference Server
Server架构
模型仓库配置
动态批处理
↗
10
模型版本管理
MLflow管理
注册与回滚
A/B测试策略
↗
11
负载均衡与高可用
Nginx反向代理
Kubernetes基础
弹性推理服务
↗
12
监控与日志
Prometheus+Grafana
ELK日志
自定义指标
↗
13
性能基准测试
Locust压力测试
延迟·吞吐分析
定位瓶颈
↗
14
模型优化技术
模型剪枝
知识蒸馏
量化感知·算子融合
↗
15
边缘端部署
TFLite & ONNX Mobile
Android/iOS集成
边缘计算
↗
16
Web端部署
TensorFlow.js/ONNX.js
浏览器推理
WebAssembly
↗
17
安全与鉴权
API密钥管理
JWT认证
HTTPS·模型加密
↗
18
CI/CD流水线
GitHub Actions
模型测试验证
灰度发布
↗
19
多模型编排
Pipeline设计
特征工程服务化
异步消息队列
↗
20
大规模分布式部署
Ray Serve框架
模型分片并行
跨区域部署
↗
21
GPU资源管理
GPU共享隔离
MPS/MIG技术
动态资源调度
↗
22
冷启动与预热
模型加载优化
预热请求策略
缓存机制
↗
23
异常处理与容错
优雅降级
重试机制
熔断器模式
↗
24
成本优化
Spot实例
自动扩缩容
模型缓存复用
↗
25
多框架统一部署
PyTorch/TF/JAX
统一管理
适配层设计
↗
26
模型解释性服务
SHAP/LIME集成
解释结果API
可视化展示
↗
27
联邦学习部署
联邦学习基础
安全聚合
边缘节点部署
↗
28
实时流处理
Kafka集成
流式推理
窗口聚合
↗
29
Serverless部署
AWS Lambda
Google Cloud Run
阿里云函数计算
↗
30
综合实战项目
图像分类服务
文档与演示
总结与展望
↗