📘 深度学习部署工程
最佳实践
🌟 30章 从入门到生产部署 · 友好色系
🚀 完整目录 ·
30课
01
深度学习部署概述
什么是部署
挑战与目标
典型流程
02
模型导出与格式转换
ONNX
TensorRT
OpenVINO
PyTorch转ONNX
03
ONNX Runtime基础
架构
安装配置
Python API
04
ONNX Runtime高级用法
自定义算子
性能调优
内存管理
05
TensorRT基础
Engine/Builder/Context
安装配置
06
TensorRT模型优化
FP16/INT8量化
动态形状
层融合
07
TensorRT Python API实战
ONNX→Engine
完整流程
08
OpenVINO基础
工具套件
模型优化器
推理引擎
09
OpenVINO模型部署
PyTorch/TF→IR
C++/Python推理
10
模型量化技术
对称/非对称
PTQ与QAT
精度评估
11
模型剪枝与蒸馏
结构化剪枝
知识蒸馏
部署收益
12
C++部署环境搭建
CMake
CUDA/cuDNN
TensorRT C++
13
C++推理引擎封装
工厂模式
多后端统一接口
14
高性能数据预处理
OpenCV
CUDA加速
多线程流水线
15
模型服务化部署
Flask/FastAPI
REST API
gRPC
16
Triton Inference Server
架构
模型仓库
动态批处理
17
容器化部署
Docker基础
Dockerfile
多阶段构建
18
Kubernetes部署
K8s基础
Pod/Service
自动扩缩容
19
边缘端部署
Jetson
树莓派
NCNN/TNN
20
浏览器端部署
WebAssembly
TF.js
ONNX Web
21
模型版本管理
DVC
MLflow
版本回滚
22
部署监控与日志
Prometheus+Grafana
ELK
23
A/B测试与灰度发布
流量切分
金丝雀
线上评估
24
安全与隐私
模型加密
TEE
联邦学习部署
25
CI/CD for ML
ML Pipeline
模型测试
自动化部署
26
性能基准测试
延迟/吞吐量/内存
Profiling
27
常见部署问题排查
内存泄漏
精度对齐
性能瓶颈
28
多模型协同部署
模型组合
流水线编排
异步推理
29
大规模分布式部署
负载均衡
模型分片
集群管理
30
部署案例实战
图像分类/检测/NLP
全流程复盘