4、Nsight Systems深度使用：时间轴分析、CPU/GPU活动关联、Trace分析技巧
Nsight Systems这个工具，说实话，是我日常工作中最离不开的GPU性能分析利器。你想想看，一个程序跑下来，CPU在忙什么？GPU在等什么？数据在哪里卡住了？这些问题，它都能给你答案。
我个人习惯，拿到一个性能问题，第一件事就是打开Nsight Systems抓个trace。别急着看细节，先看整体轮廓。就像医生看X光片，先看骨架对不对，再找病灶。
4.1 时间轴分析：读懂程序的“心电图”
打开Nsight Systems的timeline视图，你会看到一条条彩色条带。这就是程序的“心电图”。
核心要看的三个区域：
- CPU活动行：显示每个线程在做什么。绿色是运行，橙色是等待，灰色是空闲。
- GPU活动行：显示kernel执行、内存拷贝、同步操作。紫色通常是计算kernel，蓝色是数据传输。
- API调用行：显示CUDA API的调用序列。比如cudaMemcpy、cudaLaunchKernel。
我的经验：先看GPU利用率。如果GPU活动行里大片空白，说明CPU喂不饱GPU。如果GPU活动行里kernel之间有大段间隔，说明内存拷贝在拖后腿。
我记得有一次，一个训练任务跑得特别慢。我一看时间轴，GPU利用率只有30%。再仔细看，每个kernel执行前都有一段长长的cudaMemcpy。嗯，问题找到了——数据没提前准备好。
4.2 CPU/GPU活动关联：找到“谁在等谁”
时间轴分析只是第一步。真正的高手，会做CPU/GPU活动关联。
为什么要关联？
因为GPU是异步执行的。你调用一个kernel，它不会立刻执行。CPU会继续往下跑。如果CPU在等GPU结果，就会触发同步。这个同步点，往往是性能瓶颈。
关联方法：
- 看依赖箭头：Nsight Systems会自动画出依赖关系。箭头从CPU的API调用指向GPU的实际执行。箭头越长，说明CPU提交任务后等待的时间越长。
- 看时间戳对齐：把鼠标悬停在某个kernel上，看它的start time和end time。再找到对应的CPU线程，看这段时间CPU在做什么。
- 看队列深度：GPU有多个队列（compute queue、copy queue）。如果某个队列排满了，其他队列空着，说明负载不均衡。
避坑指南：我曾经遇到一个情况，时间轴上看GPU利用率很高，但程序还是慢。后来发现，CPU在频繁调用cudaDeviceSynchronize()。每次同步都让CPU空转。解决办法：减少同步次数，用cudaStreamSynchronize替代全局同步。
4.3 Trace分析技巧：从数据中“挖”出真相
Trace分析，说白了就是看数据。但数据不会自己说话，你得知道怎么看。
我常用的三个分析维度：
| 维度 | 看什么 | 常见问题 |
|---|---|---|
| 时间分布 | 每个阶段耗时占比 | 数据传输占80%，计算只占20% |
| 带宽利用率 | PCIe带宽、显存带宽 | 带宽利用率低于50%，说明有瓶颈 |
| kernel效率 | occupancy、warp效率 | occupancy低，说明资源没用好 |
具体操作步骤：
- 抓取trace：用nsys profile命令。我一般加 -t cuda,nvtx,osrt 三个选项。cuda抓GPU活动，nvtx抓自定义标记，osrt抓系统调用。
- 打开报告：用nsys-ui打开生成的.qdrep文件。
- 看Summary：先看总览。CPU时间、GPU时间、数据传输时间。如果GPU时间远小于CPU时间，说明瓶颈在CPU。
- 看Details：点进某个kernel，看它的执行参数。grid size、block size、shared memory用量。这些参数直接影响性能。
- 看NVTX标记：如果你在代码里加了nvtx标记，这里会显示每个阶段的耗时。我习惯在每个训练step前后加标记，这样一眼就能看出哪个step慢了。
注意：Trace本身有开销。抓取时间越长，数据越大，分析越慢。我一般只抓取1-2秒的trace，或者用--duration限制时间。如果程序跑几个小时，别全抓，抓关键段就行。
4.4 实战案例：一个典型的性能优化过程
说个真实案例。有一次，一个图像处理程序跑得很慢。我抓了trace，发现：
- GPU利用率只有40%
- 每个kernel执行前都有cudaMemcpy
- CPU在kernel执行期间大部分时间在等待
分析过程：
我点开一个kernel，看它的执行时间。嗯，只有0.5ms。但前后的cudaMemcpy花了2ms。说白了，数据传输时间比计算时间还长。
再往下看，发现数据是从CPU内存拷贝到GPU显存的。每次拷贝都是同步的。CPU提交拷贝后，必须等拷贝完成才能提交下一个kernel。
解决方案：
- 用cudaMallocHost分配页锁定内存，减少拷贝延迟
- 用cudaStream创建多个流，让数据传输和计算重叠
- 用cudaMemcpyAsync异步拷贝，不阻塞CPU
改完之后，GPU利用率提升到了85%，整体性能提升了2倍。
核心思路：Nsight Systems不只是看“慢在哪”，更要看“为什么慢”。时间轴告诉你现象，关联分析告诉你原因，trace数据告诉你细节。三者结合，才能找到真正的瓶颈。
4.5 本章知识体系
下面这张图，是我自己总结的Nsight Systems分析流程。你照着这个思路走，基本不会漏掉关键点。
这张图的核心逻辑是：抓取 → 看整体 → 找关联 → 挖细节 → 定方案 → 验证。如果验证不通过，回到第一步重新抓取。别指望一次就能找到问题，性能优化是个迭代过程。
我的习惯：每次优化后，我都会保存一份trace报告。这样下次遇到类似问题，可以直接对比。时间长了，你自然就能一眼看出问题在哪。
公众号:蓝海资料掘金营，微信deep3321