4. NVIDIA GPU抢占技术：CUDA图形抢占、计算抢占、MIG的抢占特性、时间切片机制
好，咱们今天聊点硬核的——GPU抢占。说白了，就是当多个任务抢着用GPU时，系统怎么管？
我刚开始做实时系统那会儿，总觉得GPU就是个黑盒子。任务扔进去，等结果就行。直到有一次，一个高优先级的控制任务被一个跑了大半天的渲染任务堵住了，整个系统差点崩了。嗯，从那以后，我就开始认真研究GPU的抢占机制了。
4.1 为什么需要GPU抢占？
你想想看，一个GPU上可能同时跑着好几个任务：
- 一个CUDA计算任务在做矩阵乘法
- 一个图形渲染任务在画3D场景
- 一个推理任务在跑神经网络
如果没有抢占机制，高优先级的任务就得排队等着。这在实时系统里是致命的。我见过一个自动驾驶项目，就是因为GPU抢占延迟太大，导致感知模块没能在规定时间内拿到结果——还好是在测试阶段。
核心问题：GPU是吞吐优先的架构，它天生不喜欢被打断。但实时系统偏偏需要低延迟的响应。这两者之间的矛盾，就是咱们今天要解决的核心问题。
4.2 CUDA图形抢占
图形抢占，说白了就是让GPU在画图的时候能被中断。NVIDIA从Kepler架构开始就支持了，但真正好用是从Maxwell开始。
我个人习惯把图形抢占分成两个级别：
| 抢占级别 | 粒度 | 延迟 | 适用场景 |
|---|---|---|---|
| Primitive级别 | 单个图元 | 微秒级 | 高优先级图形任务 |
| Pixel级别 | 单个像素 | 纳秒级 | 极低延迟要求 |
我在项目中遇到过一个问题：一个VR应用需要极低的帧延迟，但另一个后台任务在跑CUDA计算。如果不做抢占，VR画面就会出现卡顿。后来我启用了图形抢占，把VR渲染任务的优先级提到最高，问题就解决了。
我的经验：图形抢占的开关在驱动层面。你可以通过nvidia-smi或者CUDA API来控制。但要注意，开启抢占会带来少量的性能开销——大概1-3%。
4.3 计算抢占
计算抢占比图形抢占复杂得多。为什么？因为CUDA计算任务通常是大块大块的，不像图形任务那样可以按图元切分。
NVIDIA从Pascal架构开始引入了计算抢占，主要分两种：
- 指令级别抢占：在每条指令执行完后检查是否需要抢占。延迟低，但硬件开销大。
- 线程块级别抢占：在当前线程块执行完后才检查。延迟高一些，但硬件实现简单。
我记得有一次调试一个实时推理系统，发现抢占延迟总是忽高忽低。查了半天，原来是某个kernel的线程块太大，导致抢占点太少。后来我把线程块大小从1024改成了256，抢占延迟就稳定了。
避坑指南：我曾经踩过一个坑——在计算抢占开启的情况下，用了__syncthreads()。这个同步操作会阻塞线程，导致抢占无法及时响应。后来我改用__syncwarp()，问题就解决了。
4.4 MIG（多实例GPU）的抢占特性
MIG是NVIDIA在Ampere架构上推出的技术。它把一块物理GPU切分成多个独立的实例，每个实例都有自己的显存、缓存和计算单元。
MIG的抢占和传统抢占不太一样。它更像是一种硬件隔离：
| 特性 | 传统抢占 | MIG抢占 |
|---|---|---|
| 隔离粒度 | 任务级别 | 实例级别 |
| 抢占延迟 | 微秒到毫秒 | 纳秒级（硬件隔离） |
| 资源浪费 | 低 | 较高（需要预留资源） |
我个人觉得，MIG最适合的场景是：多个租户共享一块GPU，但每个租户都需要保证最低性能。比如云游戏平台，每个玩家一个MIG实例，互不干扰。
关键点：MIG的抢占不是传统意义上的"打断"，而是"隔离"。一个实例的任务不会影响另一个实例。所以抢占延迟几乎为零——但代价是你得提前分配好资源。
4.5 时间切片机制
时间切片，说白了就是让GPU在多个任务之间快速切换。NVIDIA的GPU驱动会维护一个调度队列，每个任务分到一小段时间片。
时间切片的工作流程大概是这样的：
- 驱动把多个任务排成队列
- 每个任务执行一个时间片（通常是几十微秒）
- 时间片到了，保存当前任务的上下文
- 加载下一个任务的上下文
- 继续执行
嗯，这里要注意：时间切片不是真正的抢占。它更像是一种协作式多任务。如果一个任务不主动让出GPU，时间切片机制也拿它没办法。
我遇到过最头疼的情况是：一个计算任务占用了GPU 100毫秒不放手，导致其他任务全部超时。后来我查了文档才发现，这个任务用了cudaDeviceSynchronize()，而且没有设置超时。解决办法是加上cudaSetDeviceFlags(cudaDeviceScheduleYield)，让任务在空闲时主动让出GPU。
我的建议：在实时系统里，尽量把大任务拆成小任务。每个小任务执行时间控制在1毫秒以内。这样时间切片机制才能发挥作用。我一般会用cudaStreamSynchronize()配合事件来切分任务。
4.6 如何选择？
说了这么多，到底该用哪种抢占方式？我个人的经验是：
- 图形任务为主：用图形抢占，延迟最低
- 计算任务为主：用计算抢占，注意线程块大小
- 多租户场景：用MIG，隔离性最好
- 混合场景：时间切片+计算抢占组合使用
最后说一句：没有银弹。每种抢占方式都有trade-off。你得根据实际场景来调优。我一般会在项目初期做一轮抢占延迟测试，看看哪种方式最合适。
好，这一章就到这里。下一章咱们聊聊如何测量和优化抢占延迟——这可是实战中的硬功夫。