边缘硬件选型:主流边缘设备与算力评估
做边缘AI落地,第一步就是选硬件。这事儿我踩过不少坑。
你想想看,模型在服务器上跑得飞快,一放到边缘设备上就卡成PPT。为什么?说白了,就是硬件没选对。今天咱们就聊聊Jetson Nano、RK3588、树莓派这三款主流设备,以及怎么评估它们的算力。
三款主流设备,各自什么脾气?
先说说我个人的使用习惯。这三款设备我都折腾过,各有各的脾气。
1. Jetson Nano:英伟达的AI小钢炮
Jetson Nano是我最早接触的边缘AI设备。它最大的优势是生态——CUDA、TensorRT、DeepStream,英伟达那一套东西全给你搬上来了。我在项目中用它跑过YOLOv5,128核Maxwell GPU确实给力。
但要注意,它的算力标称是472 GFLOPS(FP16),实际跑起来受功耗限制很大。我记得有一次做多路视频分析,温度一上来就降频,帧率直接腰斩。
核心参数:
- GPU:128核Maxwell架构
- CPU:4核ARM Cortex-A57
- 内存:4GB LPDDR4
- 算力:472 GFLOPS(FP16)
- 功耗:5W-10W
2. RK3588:国产芯片的扛把子
RK3588是瑞芯微的旗舰芯片,8nm工艺,6TOPS的NPU算力。说实话,我第一次拿到开发板时挺惊讶的——这玩意儿能跑MobileNet到300+FPS。
它有个好处:CPU是4核A76+4核A55的大小核架构。我在做多模型流水线时,习惯把轻量模型丢给小核,重模型交给大核和NPU。这样功耗控制得特别好。
核心参数:
- NPU:6 TOPS(INT8)
- CPU:4×Cortex-A76 + 4×Cortex-A55
- GPU:Mali-G610 MP4
- 内存:8GB/16GB LPDDR4X
- 功耗:5W-15W
3. 树莓派4B:入门首选,但别指望太多
树莓派嘛,大家都懂。便宜、社区活跃、资料多。但说实话,它的算力真的有限。VideoCore VI GPU虽然能跑OpenCL,但性能跟Jetson Nano比差了一个量级。
我曾经用树莓派跑过一个人脸检测模型,640×480的输入,帧率只有8-10FPS。嗯,做原型验证还行,真上产品得慎重。
核心参数:
- GPU:VideoCore VI
- CPU:4核Cortex-A72
- 内存:2GB/4GB/8GB LPDDR4
- 算力:约0.5 TOPS(INT8,估算)
- 功耗:3W-7W
算力评估指标:TOPS和FPS,到底看哪个?
很多新手上来就问:这个芯片多少TOPS?其实TOPS只是理论峰值,实际落地要看FPS。
TOPS:理论天花板
TOPS(Tera Operations Per Second)是芯片的峰值算力。比如RK3588标称6 TOPS,意思是每秒能进行6万亿次INT8运算。
但这里有个坑:TOPS是在理想条件下测的,比如数据全在片上缓存、计算单元满负荷。实际跑模型时,内存带宽、数据搬运、算子效率都会打折扣。
我的经验:TOPS可以当参考,但别太当真。我见过标称4 TOPS的芯片,跑MobileNet还不如标称2 TOPS的。为什么?内存带宽不够,计算单元在等数据。
FPS:真实世界的性能
FPS(Frames Per Second)才是硬道理。它直接告诉你:这个模型在这个设备上,每秒能处理多少帧。
我一般这样评估:
- 实时视频分析:至少25 FPS
- 人脸检测/识别:15-20 FPS可接受
- 目标跟踪:10 FPS以上
举个例子,我在RK3588上跑YOLOv5s(640×640输入),用NPU推理能到30 FPS。换成Jetson Nano,同样模型用TensorRT优化后大概25 FPS。树莓派?嗯,5-8 FPS,基本告别实时。
功耗与散热:被忽视的致命问题
这一点我必须强调:功耗和散热,往往比算力更关键。
功耗:不是标称值那么简单
芯片标称的功耗是TDP(热设计功耗),但实际功耗跟负载强相关。我做过测试:
| 设备 | 待机功耗 | 轻负载(1路视频) | 重负载(4路视频+检测) |
|---|---|---|---|
| Jetson Nano | 2.5W | 5W | 10W |
| RK3588 | 1.8W | 4W | 12W |
| 树莓派4B | 1.2W | 3W | 6W |
避坑指南:我曾经在一个项目中,用Jetson Nano跑4路1080P视频分析,没加散热风扇。结果运行20分钟后,芯片温度飙到85°C,自动降频到800MHz,帧率从25掉到8。从那以后,我所有边缘设备都强制加散热方案。
散热方案怎么选?
我的建议很简单:
- 被动散热(散热片):适合功耗<5W的场景,比如树莓派跑轻量任务
- 主动散热(风扇):适合5-15W的场景,Jetson Nano和RK3588标配
- 工业级散热(金属外壳+导热硅脂):适合长时间满载运行,比如7×24小时的视频分析
嗯,这里要注意:风扇虽然便宜,但会积灰。我在工厂项目里,每3个月就得清一次灰,不然散热效率下降30%。
选型决策:我的一般原则
说了这么多,到底怎么选?我个人的决策树是这样的:
- 预算有限、原型验证:树莓派4B,成本200-400元
- 需要GPU加速、英伟达生态:Jetson Nano,成本800-1200元
- 国产化要求、NPU算力强:RK3588,成本600-1000元
- 多路视频、高并发:RK3588(8GB版本)或Jetson Xavier NX
一个小技巧:如果你不确定选哪个,先买RK3588。它兼容性好,NPU和CPU都强,而且国产芯片现在支持力度大。我最近两个项目都用的它,没出过幺蛾子。
好了,硬件选型就聊到这儿。下一章咱们讲讲怎么搭建开发环境,包括刷系统、装驱动、配置推理引擎。到时候我会分享一些踩坑经验,保证让你少走弯路。