一、深度学习部署全景概览
大家好，我是你们的老朋友。今天咱们聊聊深度学习部署这件事。
说实话，很多人觉得模型训练完了就万事大吉。其实不然。训练只是第一步，真正让模型在真实场景里跑起来，才是硬仗。我见过太多团队，模型在GPU上跑得飞起，一到手机端就卡成PPT。嗯，这就是部署要解决的问题。
1.1 什么是深度学习部署
说白了，深度学习部署就是把训练好的模型，放到目标设备上运行。这个目标设备可能是服务器、手机、摄像头，甚至是单片机。
你想想看，训练时我们用PyTorch、TensorFlow，环境随便配。但部署时呢？设备可能只有几MB内存，CPU主频低得可怜。怎么办？就得做转换、做优化。
我个人习惯把部署分成四个层次：
- 云端部署：模型跑在服务器上，资源相对充裕
- 边缘部署：模型跑在靠近数据源的地方，比如路由器、网关
- 移动端部署：手机、平板，资源受限但用户量大
- 嵌入式部署：单片机、IoT设备，资源极度受限
每个层次的挑战都不一样。我在项目中遇到过，同一个模型在云端延迟5ms，到了嵌入式设备上直接飙到500ms。这就是部署要解决的差距。
1.2 部署的挑战与目标
部署的挑战，我总结为三个字：快、小、准。
| 挑战 | 说明 | 我的经验 |
|---|---|---|
| 推理速度 | 模型必须实时响应 | 我曾经把一个检测模型从300ms优化到15ms，靠的是算子融合和量化 |
| 模型体积 | 存储和内存有限 | 手机端模型超过100MB基本没人愿意下载 |
| 精度损失 | 优化后不能掉点太多 | 量化后精度掉1%以内算合格，超过2%就要重新调 |
为什么会这样？因为部署环境跟训练环境完全不同。训练时你有32位浮点精度，有海量显存。部署时呢？可能只有8位整数精度，内存按KB算。
核心目标：在资源受限的条件下，尽可能保持模型精度，同时达到实时推理。
我建议大家在项目开始前，先明确三个指标：
- 目标延迟（比如30ms以内）
- 最大模型体积（比如50MB）
- 可接受的精度损失（比如mAP下降不超过1%）
这三个指标定下来，后面所有工作才有方向。
1.3 典型的部署流水线
部署不是一步到位的。它是一条完整的流水线。我把它分成五个阶段：
训练 -> 转换 -> 优化 -> 部署 -> 监控
每个阶段都有坑。咱们一个一个说。
1.3.1 训练阶段
很多人以为训练跟部署没关系。错！训练时就该考虑部署。
我个人习惯在训练时就用torch.jit.trace或者onnx.export导出一次，看看有没有不支持的操作。别等到部署时才发现模型里有自定义算子，那可就麻烦了。
小技巧：训练时尽量用标准算子。像nn.ReLU、nn.Conv2d这些，部署工具都支持。自定义算子能不用就不用。
1.3.2 转换阶段
训练好的模型是PyTorch或TensorFlow格式。部署设备不认识。所以得转换。
最常用的中间格式是ONNX。它就像一个翻译官，把各种框架的模型转成统一格式。
# PyTorch转ONNX示例
import torch
import torch.onnx
model = torch.load('model.pth')
dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(
model,
dummy_input,
'model.onnx',
opset_version=11,
input_names=['input'],
output_names=['output']
)
嗯，这里要注意。ONNX转换不是100%成功的。我遇到过torch.where操作转不过去的情况。解决办法是手动替换成torch.where的等价实现。
1.3.3 优化阶段
转换完的模型，还得优化。优化手段主要有三种：
- 量化：FP32转INT8，体积缩小4倍，速度提升2-4倍
- 剪枝：去掉不重要的权重，减少计算量
- 算子融合：把多个小算子合并成一个大算子，减少内存访问
我曾经做过一个项目，模型量化后精度掉了3%。查了半天，发现是某个层的激活值分布太广，量化后信息丢失严重。后来加了clip操作，精度就回来了。
避坑指南：量化前一定要做校准。用几百张验证集图片跑一遍，统计激活值的分布。直接量化，精度大概率会崩。
1.3.4 部署阶段
优化完的模型，终于可以部署了。部署方式取决于目标设备：
| 设备类型 | 推荐框架 | 我的建议 |
|---|---|---|
| 服务器 | TensorRT、ONNX Runtime | TensorRT对NVIDIA显卡优化最好 |
| 手机 | NCNN、MNN、TFLite | NCNN在安卓上表现稳定 |
| 嵌入式 | TFLite Micro、CMSIS-NN | 内存要精打细算 |
部署时还要考虑推理框架的初始化时间。我记得有一次，模型推理只要10ms，但框架初始化花了2秒。用户点开App，等两秒才出结果，体验极差。
1.3.5 监控阶段
部署完不是终点。模型上线后，必须监控。
监控什么？三个东西：
- 推理延迟：有没有突然变慢？
- 内存占用：有没有内存泄漏？
- 模型精度：线上数据分布变了，精度会不会掉？
我见过最惨的情况是，模型部署后跑了三个月，精度从90%掉到了60%。原因是用户上传的图片风格变了，模型没见过这种数据。这就是数据漂移。
关键点：部署不是一锤子买卖。它是一个持续迭代的过程。模型上线后，要定期用新数据重新训练、重新部署。
1.4 总结
好了，咱们把全景捋一遍。
深度学习部署，就是把模型从实验室搬到真实场景。挑战在于资源受限、环境复杂。目标是在保证精度的前提下，做到又快又小。
典型的部署流水线是：训练 -> 转换 -> 优化 -> 部署 -> 监控。每个阶段都有坑，但踩过一次就记住了。
我个人觉得，部署工程师最重要的能力不是调参，而是系统思维。你得从训练阶段就开始考虑部署，从部署阶段就开始考虑监控。这样才能做出真正能落地的产品。
下一章，咱们聊聊模型转换的具体细节。ONNX怎么用？遇到不支持的算子怎么办？到时候细说。