深度学习部署工程化落地手册 · 课程目录

01深度学习部署全景概览

什么是深度学习部署、部署的挑战与目标、典型的部署流水线（训练→转换→优化→部署→监控）。

02模型导出与格式标准

ONNX标准详解、PyTorch导出ONNX、TensorFlow导出SavedModel/PB、TensorRT专属.engine格式。

03模型量化基础

为什么需要量化、FP32→INT8原理、对称/非对称量化、QAT与训练后量化PTQ。

04模型剪枝与稀疏化

结构化/非结构化剪枝、权重剪枝与神经元剪枝、稀疏矩阵存储计算、NVIDIA 2:4稀疏。

知识蒸馏原理（教师→学生）、软标签与硬标签、温度系数T作用、蒸馏在部署中的实际收益。

06TensorRT核心概念

TensorRT架构、Layer与Tensor、Builder/Config/Engine/Context、动态形状与静态形状。

07TensorRT模型构建与优化

ONNX转TensorRT引擎、精度校准Calibration、层融合、内核自动调优。

08ONNX Runtime部署

ONNX Runtime架构、C++/Python API、执行提供者、性能调优与内存管理。

09OpenVINO部署实战

OpenVINO套件概览、模型优化器、推理引擎、Intel CPU/GPU部署。

10TFLite与移动端部署

TFLite FlatBuffer格式、Android/iOS集成、GPU委托与NNAPI、模型大小与速度权衡。

11NVIDIA Triton Inference Server

Triton架构与设计、模型仓库、并发模型执行、动态批处理。

12模型服务化与API设计

RESTful API与gRPC、请求响应格式、健康检查、模型元数据、客户端SDK。

13Docker容器化部署

Docker基础、编写Dockerfile (Triton示例)、多阶段构建、Docker Compose编排。

14Kubernetes集群部署

K8s核心概念(Pod/Service/Deployment)、部署Triton、HPA、Ingress与负载均衡。

15边缘设备部署 (Jetson系列)

Jetson平台(Nano/TX2/Xavier/Orin)、JetPack SDK、TensorRT on Jetson、摄像头集成。

16模型性能基准测试

延迟与吞吐量测量、perf_analyzer工具、Profiling瓶颈分析、设置SLA。

17GPU显存优化

显存碎片、显存池技术、模型分片卸载、CUDA Graph减少内核启动开销。

18CPU推理优化

Intel MKL/oneDNN、AVX指令集、OpenMP多线程、NUMA感知内存分配。

19模型版本管理与回滚

语义化版本、蓝绿部署与金丝雀发布、A/B测试框架、监控与自动回滚。

20数据预处理与后处理加速

IO瓶颈、DALI加速预处理、后处理向量化、自定义CUDA内核。

21多模型流水线部署

模型串行/并行执行、异步推理与回调、Triton Ensemble模式、有状态模型。

22安全与模型保护

模型加密(AES/RSA)、混淆与水印、TLS/SSL通信、访问控制与认证。

23日志、监控与告警

结构化日志(JSON)、Prometheus指标(QPS/延迟/错误率)、Grafana、阈值告警。

24持续集成与持续部署 (CI/CD)

GitLab CI/GitHub Actions、自动化模型测试、部署到Staging/Production、IaC。

25大规模分布式推理

模型并行与数据并行、张量并行、流水线并行、NVIDIA Megatron-LM。

26大语言模型 (LLM) 部署

自回归推理、KV Cache优化、Continuous Batching、vLLM与TensorRT-LLM。

27计算机视觉模型部署

图像分类、目标检测(YOLO)、语义分割(DeepLab)、超分辨率模型部署优化。

28NLP模型部署

BERT/Transformer部署、动态形状处理、序列长度优化、FasterTransformer库。

29模型部署的A/B测试与实验

实验设计(流量切分)、业务/系统指标收集、假设检验、自动化实验平台。

30深度学习部署的未来趋势

异构计算(CPU/GPU/NPU/TPU)、边缘-云协同、联邦学习与隐私计算、AutoML for Deployment。