一、性能调优概述：为什么需要性能调优？
说实话，我见过太多团队把模型训出来就以为万事大吉了。结果一上线，推理速度慢得像蜗牛，内存直接爆掉，用户反馈全是「卡死了」。这时候才想起来调优，往往已经晚了。
性能调优，说白了就是让模型在硬件上跑得又快又稳。它不是锦上添花，而是部署上线的必经之路。我个人的习惯是，模型还没训完，我就开始想部署方案了——因为很多坑，早发现比晚发现好处理得多。
1.1 为什么非调不可？
你想想看，一个 ResNet-50 在 GPU 上跑一次推理可能只要 10ms，但放到手机端，同样的模型可能要 500ms。用户能等吗？不能。这就是调优的意义。
具体来说，有三大驱动力：
- 实时性要求：自动驾驶、语音助手、视频监控，延迟超过阈值就是事故。
- 资源限制：嵌入式设备、手机、IoT 芯片，内存和算力都极其有限。
- 成本控制：云端部署按量计费，推理速度翻倍，成本直接砍半。
核心观点：性能调优不是「优化」，而是「必须」。不调优的模型，就像没装引擎的跑车——好看，但跑不起来。
1.2 深度学习部署的常见瓶颈
我在项目中遇到过各种各样的瓶颈，总结下来，无非就这几类：
| 瓶颈类型 | 典型表现 | 常见场景 |
|---|---|---|
| 计算瓶颈 | 推理速度慢，GPU 利用率低 | 大模型、高分辨率输入 |
| 内存瓶颈 | 显存溢出，OOM 报错 | Transformer、多模态模型 |
| I/O 瓶颈 | 数据加载跟不上推理 | 视频流、高并发请求 |
| 算子瓶颈 | 某个算子耗时占比极高 | 自定义算子、非标准操作 |
| 框架瓶颈 | 框架本身调度开销大 | PyTorch 动态图、频繁张量拷贝 |
嗯，这里要注意：很多时候瓶颈不是单一的。比如显存爆了，可能同时伴随着计算效率低。我曾经遇到一个项目，模型推理慢，我调了三天算子，结果发现是数据加载线程卡住了——白忙活一场。
我的建议：遇到性能问题，先做 profiling，别凭感觉猜。用 nvidia-smi、nsys、py-spy 这些工具把瓶颈定位准了，再动手。
1.3 调优的通用方法论
调优不是玄学，是有套路可循的。我总结了一个四步法，这些年一直在用：
- 测量：先跑一遍基准测试，记录延迟、吞吐、内存占用。
- 定位：用 profiling 工具找到最耗时的环节。
- 优化：针对瓶颈下手，一次只改一个变量。
- 验证：改完再测，确认效果，防止回退。
说白了就是「先问是不是，再问为什么」。我见过太多人上来就量化、剪枝、换框架，结果瓶颈根本不在那里。
避坑指南：我曾经犯过一个错——优化完一个算子，推理速度没变，因为瓶颈在另一个地方。从那以后，我每次只改一处，改完立刻验证。千万别一次改一堆，出了问题你都不知道是哪步导致的。
1.4 调优的层次
调优可以从多个层面入手，每个层面都有不同的手段：
- 算法层：模型剪枝、量化、蒸馏、轻量化结构设计。
- 框架层：算子融合、图优化、内存复用、异步执行。
- 硬件层：CUDA 优化、TensorRT、OpenVINO、NPU 适配。
- 系统层：多线程、流水线、批处理、缓存策略。
我个人习惯是从系统层开始排查，因为很多性能问题其实是工程问题，不是模型问题。比如数据加载慢、CPU 和 GPU 之间拷贝频繁，这些往往比模型本身更容易优化。
1.5 一个简单的调优示例
假设你有一个 PyTorch 模型，推理时发现 GPU 利用率只有 30%。你会怎么做？
先别急着改模型。我一般会先跑一个 profiling：
# 用 torch.profiler 快速定位瓶颈
import torch.profiler as prof
with prof.profile(activities=[prof.ProfilerActivity.CPU, prof.ProfilerActivity.CUDA]) as p:
model(input_tensor)
print(p.key_averages().table(sort_by="cuda_time_total", row_limit=10))
输出结果会告诉你哪个算子最耗时。我遇到过好几次，发现瓶颈竟然是 to(device) 操作——数据从 CPU 拷贝到 GPU 太频繁了。解决办法很简单：提前把数据放到 GPU 上，或者用异步传输。
记住：调优的第一步永远是测量。没有数据，你就是在瞎猜。
1.6 本章小结
性能调优不是可有可无的「加分项」，而是部署上线的「及格线」。常见的瓶颈无非是计算、内存、I/O、算子、框架这几类。调优的方法论也很简单：测量、定位、优化、验证，循环迭代。
嗯，这一章算是开个头。后面我们会深入每个环节，从量化到算子融合，从 TensorRT 到多卡部署，一步步把性能榨干。你准备好了吗？
课后小作业：找一个你部署过的模型，跑一次 profiling，看看最耗时的三个操作是什么。下一章我们聊聊「量化」——这可能是性价比最高的调优手段。