2、嵌入式GPU硬件平台：NVIDIA Jetson系列、树莓派+GPU加速棒、华为昇腾Atlas、算力对比与选型

做嵌入式视觉这几年，我摸过的硬件平台少说也有七八种。每次给新项目选型，团队里总有人问：「到底该上Jetson还是树莓派？华为那个昇腾靠谱吗？」

说实话，没有万能答案。但有个原则我一直坚持——先定算法，再定硬件。你想想看，模型跑什么框架、用多大分辨率、实时性要求多高，这些直接决定了你该掏多少钱、买什么板子。

2.1 NVIDIA Jetson系列：生态最成熟的选择

Jetson系列我用了快五年。从早期的TX2到现在的Orin，每一代我都跟过项目。说白了，如果你做的是深度学习视觉落地，Jetson几乎是首选。

2.1.1 产品线梳理

型号	AI算力	功耗	典型场景
Jetson Nano	472 GFLOPS	5-10W	入门级分类、轻量检测
Jetson TX2	1.33 TFLOPS	7.5-15W	无人机、移动机器人
Jetson Xavier NX	21 TOPS	10-20W	语义分割、多路视频
Jetson Orin NX	70 TOPS	15-25W	BEV感知、大模型推理
Jetson AGX Orin	275 TOPS	30-60W	自动驾驶、工业质检

2.1.2 软件生态优势

NVIDIA最值钱的东西，其实是JetPack SDK。它把CUDA、cuDNN、TensorRT、OpenCV全给你打包好了。我习惯用sudo apt install nvidia-jetpack一键安装，省去大量编译时间。

TensorRT的优化效果非常明显。举个例子，我做过一个YOLOv8n的部署，FP16推理在Orin NX上从45ms降到12ms。嗯，这里要注意——INT8量化虽然更快，但精度掉得厉害，尤其是小目标检测场景。

# TensorRT 推理示例（C++）
nvinfer1::IRuntime* runtime = nvinfer1::createInferRuntime(gLogger);
nvinfer1::ICudaEngine* engine = runtime->deserializeCudaEngine(modelData, modelSize);
nvinfer1::IExecutionContext* context = engine->createExecutionContext();

// 绑定输入输出缓冲区
void* buffers[2];
cudaMalloc(&buffers[0], inputSize);
cudaMalloc(&buffers[1], outputSize);

context->enqueueV2(buffers, stream, nullptr);
cudaStreamSynchronize(stream);

2.2 树莓派+GPU加速棒：低成本但有限制

树莓派本身算力很弱，Pi 4的VideoCore GPU基本跑不了深度学习。但加上Intel Neural Compute Stick 2或者Google Coral Edge TPU，就能勉强做推理。

我曾经在树莓派4B上插过Coral加速棒，跑MobileNetV2做分类。效果嘛……只能说「能用」。推理延迟大约15ms，但瓶颈在USB 3.0带宽，数据拷贝占了大半时间。

另外要注意，Coral Edge TPU只支持TFLite模型，而且算子支持有限。你辛辛苦苦训好的模型，可能导出时发现某个算子不支持——嗯，这种坑我踩过不止一次。

2.3 华为昇腾Atlas：国产替代的硬核选择

昇腾系列这两年势头很猛。Atlas 200 DK我去年在安防项目里用过，算力密度很高——8 TOPS的AI算力，功耗才8W左右。

2.3.1 硬件规格

型号	AI算力	功耗	特点
Atlas 200 DK	8 TOPS	8W	开发者套件，接口丰富
Atlas 500 边缘站	16 TOPS	25W	工业级，IP30防护
Atlas 800 推理服务器	256 TOPS	220W	数据中心级，支持集群

2.3.2 软件栈的坑与优势

昇腾的软件生态……说实话，跟NVIDIA比还有差距。它用CANN（华为AI计算框架）替代CUDA，API设计思路类似，但文档和社区支持弱很多。

我遇到过最头疼的问题：模型转换。用MindSpore训好的模型，转成.om格式时，某些算子会报不支持。后来发现得手动写算子映射规则，折腾了两天才搞定。

但昇腾有个巨大优势——国产化合规。在政府、安防、电力这些行业，必须用国产芯片。这时候昇腾就是唯一选择。

# 昇腾模型推理示例（Python）
import acl

# 初始化
ret = acl.init()
ret = acl.rt.set_device(0)

# 加载模型
model_path = b"./model.om"
model_id, ret = acl.mdl.load_from_file(model_path)

# 创建输入输出数据集
input_dataset = acl.mdl.create_dataset()
output_dataset = acl.mdl.create_dataset()

# 执行推理
ret = acl.mdl.execute(model_id, input_dataset, output_dataset)

2.4 算力对比与选型建议

选型这事，我总结了一个三步法：

1. 先跑通模型——用PC测一下推理延迟和内存占用
2. 反推算力需求——比如模型需要5ms推理，帧率要求30fps，那单帧处理时间不能超过33ms
3. 留30%余量——别把算力用满，后期加功能会哭的

最后说句实在话：硬件选型只是开始。真正花时间的，是模型优化、算子适配、内存管理这些软功夫。我见过太多团队买了Orin，结果模型没优化，跑起来跟Nano差不多——浪费啊。