一、模型部署概述：从训练到落地的最后一公里
大家好，我是你们的老朋友。今天咱们聊聊模型部署。
说实话，很多同学在学深度学习时，注意力都放在了模型训练上。调参、炼丹、刷榜，玩得不亦乐乎。但模型训练出来，只是万里长征走了一半。另一半，就是部署。
什么叫模型部署？说白了，就是把训练好的模型，放到真实的生产环境中去跑。让它能接收用户的请求，快速给出推理结果。比如你手机上的美颜相机，背后就有一个部署好的模型在实时处理每一帧画面。
1.1 什么是模型部署？
模型部署，就是把一个训练好的深度学习模型，从开发环境迁移到生产环境的过程。这个生产环境可能是服务器、手机、嵌入式设备，甚至是浏览器。
我个人的理解是：训练是造一把好刀，部署是让这把刀真正上战场砍人。刀再好，上不了战场也是白搭。
举个例子，你训练了一个图像分类模型，在GPU服务器上跑，准确率98%。但客户要求这个模型跑在手机上，而且每张图片处理时间不能超过50毫秒。这时候，你就得考虑模型压缩、量化、剪枝等一系列部署技术。
核心要点：部署不是简单的模型搬运，而是针对目标硬件和业务场景的深度适配。
1.2 部署的三大挑战
部署这件事，看着简单，做起来坑不少。我总结下来，主要有三大挑战：延迟、吞吐、资源。
延迟（Latency）
延迟，就是用户发一个请求，到收到结果的时间。你想想看，如果点一下美颜，等两秒才出效果，你还会用吗？
我在项目中遇到过，一个实时视频分析系统，要求每帧处理时间不超过30毫秒。结果模型太大，单帧推理就要100毫秒。怎么办？只能换轻量模型，或者做量化加速。
延迟的瓶颈通常在于：
- 模型计算量太大（FLOPs太高）
- 内存带宽不足（数据搬运慢）
- 推理框架优化不到位
吞吐（Throughput）
吞吐，指的是单位时间内能处理多少个请求。比如一个在线API，每秒能处理1000个请求，这就是吞吐量。
延迟和吞吐，其实是两个维度。有时候你优化了延迟，但吞吐反而下降了。为什么？因为为了降低延迟，你可能用了更大的batch size，但这样单个请求的等待时间就变长了。
我记得有一次做推荐系统部署，单次推理延迟只有5毫秒，但并发一上来，吞吐就崩了。后来发现是GPU显存分配策略有问题，改成了动态batch才解决。
| 指标 | 定义 | 典型要求 |
|---|---|---|
| 延迟 | 单个请求从发起到返回的时间 | 实时场景：<30ms；非实时：<500ms |
| 吞吐 | 单位时间处理的请求数 | 高并发场景：>1000 QPS |
| 资源 | CPU/GPU/内存/显存占用 | 嵌入式：<100MB内存；服务器：<8GB显存 |
资源（Resource）
资源，说白了就是你的硬件够不够用。模型越大，需要的显存和内存就越多。但现实是，客户给的硬件往往很有限。
我曾经部署一个BERT模型到边缘设备上，设备只有2GB内存。原模型1.2GB，加载完就占了大半，根本跑不起来。最后只能做量化，把FP32转成INT8，模型缩小到300MB，才勉强能跑。
避坑指南：我曾经在项目初期忽略了资源限制，等模型训练完才发现部署不了。后来学乖了，部署方案一定要在训练前就定好。硬件规格、推理框架、精度要求，这些都得提前对齐。
1.3 部署流程概览
部署这件事，不是一锤子买卖。它有一套标准流程。我习惯把它分成五个步骤：
- 模型导出：把训练好的模型从PyTorch/TensorFlow等框架中导出成通用格式，比如ONNX、TorchScript。
- 模型优化：做量化、剪枝、蒸馏等操作，减小模型体积，提升推理速度。
- 推理引擎适配：选择TensorRT、ONNX Runtime、OpenVINO等推理引擎，把模型跑起来。
- 服务化封装：把推理逻辑封装成API接口，比如用Flask、FastAPI或者Triton Inference Server。
- 部署上线：放到生产环境，做压力测试、监控、告警。
嗯，这里要注意一点：流程不是线性的。很多时候你得来回调。比如优化后发现精度掉了，就得回去重新训练。部署工程师，说白了就是在这几个环节之间反复横跳。
个人建议：刚开始做部署的同学，别一上来就搞复杂的优化。先跑通一个最简单的流程，把模型从训练框架导出，用推理引擎跑起来，再慢慢优化。步子迈大了，容易扯着蛋。
1.4 一个简单的部署示例
光说不练假把式。我给大家看一个最简单的部署流程。假设你有一个PyTorch训练好的模型，想部署到服务器上。
# 第一步：导出ONNX模型
import torch
import torchvision.models as models
model = models.resnet18(pretrained=True)
model.eval()
dummy_input = torch.randn(1, 3, 224, 224)
torch.onnx.export(model, dummy_input, "resnet18.onnx",
input_names=["input"],
output_names=["output"],
dynamic_axes={"input": {0: "batch_size"},
"output": {0: "batch_size"}})
print("模型导出成功！")
这段代码，就是把一个ResNet18模型导出成ONNX格式。ONNX的好处是跨框架、跨硬件。你可以在任何支持ONNX的设备上跑。
导出之后，用ONNX Runtime推理：
# 第二步：用ONNX Runtime推理
import onnxruntime as ort
import numpy as np
session = ort.InferenceSession("resnet18.onnx")
input_name = session.get_inputs()[0].name
# 模拟输入数据
input_data = np.random.randn(1, 3, 224, 224).astype(np.float32)
outputs = session.run(None, {input_name: input_data})
print(f"推理结果shape: {outputs[0].shape}")
你看，就这么几行代码，模型就跑起来了。当然，这只是最基础的。真正的生产环境，还要考虑并发、负载均衡、模型热更新等等。这些我们后面章节会详细讲。
1.5 本章小结
模型部署，就是把模型从实验室搬到生产环境的过程。它面临三大挑战：延迟、吞吐、资源。部署流程包括模型导出、优化、推理引擎适配、服务化封装、上线监控五个步骤。
我个人觉得，部署这件事，技术难度不一定比训练高，但它更考验工程能力。你得懂硬件、懂框架、懂网络、懂运维。说白了，部署工程师就是个多面手。
下一章，我们会深入讲解模型导出和格式转换。到时候我会分享一些我在实际项目中踩过的坑，比如ONNX导出时算子不兼容的问题。嗯，那都是血泪史啊。
好了，今天就到这里。有什么问题，欢迎交流。