3、主流边缘硬件平台概览：NVIDIA Jetson系列、Google Coral、Intel Movidius、Rockchip RK3588、树莓派
做边缘端部署，选硬件是第一道坎。
我见过不少团队，模型在PC上跑得飞起，一上板子就卡成PPT。说白了，硬件选型没做好，后面全是坑。今天咱们把市面上主流的五类平台捋一遍，聊聊各自的脾气秉性。
3.1 NVIDIA Jetson系列：AI计算的“小钢炮”
Jetson系列，我用的最多。从早期的TX2到现在的Orin，NVIDIA在边缘端确实下了功夫。
核心优势：
- CUDA生态完整：你在PC上写的PyTorch/TensorFlow代码，基本可以直接迁移。我习惯先在PC上调好模型，再通过TensorRT优化，最后丢到Jetson上跑。
- 算力阶梯清晰：从Jetson Nano（0.5 TOPS）到AGX Orin（275 TOPS），覆盖了从入门到工业级的全场景。
- JetPack SDK：一套工具链搞定驱动、库、例程，省心。
避坑指南：我曾经在Jetson Nano上部署一个YOLOv5s模型，直接跑FP32精度，帧率只有8 FPS。后来换成TensorRT的FP16推理，直接飙到30 FPS。记住，Jetson上一定要用TensorRT，否则白瞎了硬件。
| 型号 | 算力 | 功耗 | 典型场景 |
|---|---|---|---|
| Jetson Nano | 0.5 TOPS | 5-10W | 入门学习、简单分类 |
| Jetson TX2 | 1.3 TOPS | 7.5-15W | 无人机、机器人 |
| Jetson Xavier NX | 21 TOPS | 10-20W | 目标检测、语义分割 |
| Jetson AGX Orin | 275 TOPS | 15-60W | 自动驾驶、工业质检 |
3.2 Google Coral：TPU加速的“轻骑兵”
Google Coral，主打一个“开箱即用”。它的Edge TPU是专门为推理设计的ASIC芯片。
我个人的感受：
- 推理速度极快：对于MobileNet这类轻量模型，Coral的推理速度甚至比Jetson Nano还快。原因很简单，TPU是纯硬件的，没有CUDA那套调度开销。
- 功耗极低：2W左右，适合电池供电的场景。
- 模型转换有点烦：必须用Google的编译器把模型转成TFLite格式。我遇到过几次算子不支持的情况，最后只能改模型结构。
小技巧：如果你用TensorFlow，Coral是首选。但如果是PyTorch用户，建议先转ONNX再转TFLite，虽然多了一步，但兼容性更好。
产品形态：
- USB加速器：插在树莓派或PC上就能用，适合快速原型验证。
- Dev Board：集成SoC，自带Linux系统，适合独立部署。
3.3 Intel Movidius：视觉处理的“老将”
Movidius，现在叫Intel Neural Compute Stick 2（NCS2）。说实话，这个产品有点“生不逢时”。
优点：
- 即插即用：USB接口，插上就能跑OpenVINO模型。
- 功耗低：1W左右，适合对功耗敏感的场景。
- OpenVINO生态：Intel的模型优化工具链很成熟，支持从Caffe、TensorFlow、ONNX等框架转换。
缺点也很明显：
- 算力有限：只有1 TOPS左右，跑大模型很吃力。
- USB带宽瓶颈：数据从主机到NCS2要走USB，延迟比PCIe高不少。
- 生态萎缩：Intel现在主推的是集成显卡和VPU，NCS2基本不更新了。
注意：我曾经在NCS2上部署一个ResNet-50，推理时间要200ms。后来换成Jetson Nano，只要50ms。如果你对延迟有硬性要求，建议跳过Movidius，直接上Jetson或Coral。
3.4 Rockchip RK3588：国产芯片的“黑马”
RK3588，最近两年火起来的国产芯片。说实话，我第一次拿到样片时，还有点怀疑。但用下来，确实惊喜。
亮点：
- NPU算力6 TOPS：支持INT8量化，跑轻量模型绰绰有余。
- CPU+GPU+NPU异构：4个Cortex-A76大核+4个A55小核，Mali-G610 GPU，NPU专门做推理。
- 接口丰富：支持PCIe 3.0、USB 3.0、HDMI 2.1、MIPI CSI等，扩展性强。
- 价格亲民：开发板价格只有Jetson Nano的一半左右。
需要注意的地方：
- 软件生态还在完善：Rockchip的RKNN工具链，说实话，文档和社区支持不如NVIDIA。我遇到过几次模型转换失败，最后只能手动调算子。
- NPU只支持INT8：如果你需要FP16或FP32精度，只能走GPU或CPU，性能会下降不少。
我的建议：如果你做的是国产化项目，或者预算有限，RK3588是很好的选择。但如果你追求开发效率，还是Jetson更省心。
3.5 树莓派：入门级的“万金油”
树莓派，大家太熟了。但说实话，它不适合做AI推理。
为什么？
- 没有专用NPU：全靠CPU或GPU（VideoCore IV）硬扛，算力很弱。
- 内存小：4GB或8GB，跑大模型很容易OOM。
- 散热差：跑推理时CPU满载，温度轻松上80度。
那它有什么用？
- 学习入门：跑个简单的图像分类、人脸识别，体验一下端侧部署的流程。
- 控制中枢：作为主控板，通过USB或GPIO控制外设，把推理任务交给Coral或NCS2。
- 轻量任务：比如跑个TFLite的MobileNetV2，帧率10 FPS左右，勉强能用。
小经验：如果你非要用树莓派做推理，记得加散热片和风扇。另外，用TensorFlow Lite的XNNPACK后端，比默认的CPU后端快30%左右。
3.6 选型总结：到底该选哪个？
嗯，这里我直接给结论，省得你纠结。
| 场景 | 推荐平台 | 理由 |
|---|---|---|
| 工业级、高算力需求 | Jetson AGX Orin | CUDA生态、TensorRT优化、275 TOPS |
| 轻量级、低功耗 | Google Coral | TPU推理快、2W功耗、即插即用 |
| 国产化、成本敏感 | Rockchip RK3588 | 6 TOPS NPU、价格低、接口丰富 |
| 入门学习、原型验证 | 树莓派 + Coral USB | 成本低、灵活、社区资源多 |
| 老旧项目维护 | Intel Movidius | OpenVINO生态、但建议迁移 |
最后说一句：没有最好的硬件，只有最合适的。我见过有人用树莓派跑出了不错的demo，也见过有人用Jetson Orin把项目做砸了。关键还是看你的模型、场景和预算。
下一章，咱们聊聊具体的部署流程。从模型训练到板端推理，每一步怎么走，我会把踩过的坑都告诉你。