一、边缘AI与GPU概览

大家好，我是你们这门课的主讲。在正式开始动手部署之前，我觉得有必要先聊聊“为什么”。为什么边缘计算需要GPU？为什么不是CPU硬扛？

我最早接触边缘AI，是在一个工业质检项目里。客户要求在产线旁边放一台小盒子，实时检测产品缺陷。当时我第一反应是“上服务器”，结果被现场工程师怼了——网络延迟、带宽成本、数据隐私，全是坑。从那以后，我算是彻底明白了：边缘计算不是把云搬下来，而是另一种玩法。

1.1 边缘计算概念：为什么我们需要它？

边缘计算，说白了就是把计算能力从云端下沉到数据产生的地方。你想想看，摄像头拍下一张图，如果传到云端再返回结果，一来一回可能几百毫秒。对于自动驾驶、工业质检这种场景，黄花菜都凉了。

边缘计算的核心价值就三点：

• 低延迟：数据就地处理，毫秒级响应
• 省带宽：不用把所有原始数据都往云上送
• 保隐私：敏感数据不出设备，合规压力小

我个人习惯把边缘设备分成三类：

• 轻量级：树莓派、Jetson Nano这类，功耗几瓦到十几瓦
• 中量级：Jetson Xavier NX、Intel NUC，能跑中等模型
• 重量级：Jetson AGX Orin、边缘服务器，接近桌面级性能

1.2 AI推理需求：训练和推理是两码事

很多人搞混训练和推理。训练是“学习”，推理是“应用”。在边缘设备上，我们只做推理。

推理有几个特点：

• 实时性：比如目标检测，30FPS是底线
• 低功耗：边缘设备往往电池供电或者散热有限
• 模型压缩：大模型跑不动，得量化、剪枝、蒸馏

为什么会这样？因为边缘设备的算力天花板就在那。你想想看，一个Jetson Nano的算力只有472 GFLOPS，而一块RTX 3090是35 TFLOPS，差了将近80倍。所以，别指望在边缘设备上跑GPT-3，不现实。

我曾经在一个项目中，客户非要把ResNet-152部署到Jetson Nano上。结果呢？推理一次要3秒，根本没法用。后来换成MobileNetV3，量化到INT8，推理时间降到30毫秒。嗯，这里要注意：模型选型决定了项目成败。

1.3 GPU在边缘的角色：不只是加速

GPU在边缘设备上，不只是“跑得快”那么简单。它有几个关键角色：

• 并行计算引擎：CNN里的卷积操作，GPU天生适合
• 视频解码器：很多边缘GPU自带硬件解码，比如Jetson的NVDEC
• Tensor Core：NVIDIA的Tensor Core能加速INT8/FP16推理，吞吐量翻倍

我建议你把GPU看作一个“专用加速器”，而不是通用CPU。它的强项是矩阵运算，弱项是逻辑控制。所以，部署时要尽量把计算密集型操作交给GPU，控制逻辑留给CPU。

1.4 主流边缘GPU平台对比

目前市面上主流的边缘GPU平台，我列个表给你看：

我个人最常用的是Jetson系列，原因很简单：生态成熟。NVIDIA提供了JetPack SDK，包含了CUDA、cuDNN、TensorRT，开箱即用。Intel的Arc显卡虽然性能不错，但软件生态还在追赶。

1.5 本章小结

好了，这一章我们聊了边缘计算的概念、AI推理的需求、GPU的角色，以及主流平台的对比。说白了，边缘AI部署不是把云端的模型直接搬下来，而是要针对硬件做适配。

下一章，我们会深入TensorRT的优化技巧。到时候我会手把手教你如何把模型量化到INT8，以及如何避免那些我踩过的坑。嗯，先到这，我们下章见。