2. 嵌入式AI基础：嵌入式平台（Jetson、RK3588）的AI算力评估与选型策略
做BEV模型落地，选平台是第一道坎。
我见过不少团队，模型在PC上跑得飞起，一上板子就卡成PPT。说白了，嵌入式平台的算力评估和选型，直接决定了你的项目能不能活下来。
今天咱们就聊聊Jetson和RK3588这两个主流平台。我会结合我踩过的坑，给你一套实用的选型策略。
2.1 算力评估：别只看TOPS
很多新手上来就问：“这板子多少TOPS？”
嗯，TOPS确实是个重要指标，但它不是全部。我习惯把算力评估拆成三个维度：
- 理论峰值算力：芯片厂商给的TOPS值，比如Jetson Orin NX 100TOPS。这是理想情况下的上限。
- 有效算力：实际跑模型时能发挥出来的算力。受内存带宽、数据搬运、算子优化影响很大。
- 持续算力：长时间运行不掉帧的算力。散热和功耗墙会限制这个值。
核心观点：选型时，重点看有效算力和持续算力，而不是纸面TOPS。
我在项目中遇到过，某款芯片标称34TOPS，但跑BEV模型时，因为内存带宽不够，实际只能发挥不到10TOPS。你想想看，这差距有多大？
2.2 Jetson系列：NVIDIA的生态优势
Jetson系列我用了很多年。从TX2到Orin，一路跟过来。
2.2.1 主流型号对比
| 型号 | AI算力 | 内存 | 功耗 | 适用场景 |
|---|---|---|---|---|
| Jetson Orin NX 16GB | 100 TOPS | 16GB LPDDR5 | 10-25W | 中高端BEV感知 |
| Jetson Orin NX 8GB | 70 TOPS | 8GB LPDDR5 | 10-25W | 轻量级BEV |
| Jetson AGX Orin | 275 TOPS | 32/64GB LPDDR5 | 15-60W | 旗舰级感知 |
2.2.2 我的使用心得
Jetson最大的优势是生态。TensorRT、DeepStream、CUDA，这些工具链非常成熟。
我记得第一次在Orin上部署BEV模型，用TensorRT做INT8量化，推理速度直接提升了3倍。而且NVIDIA的文档很全，遇到问题基本都能找到答案。
小技巧：Jetson上做BEV，建议优先用TensorRT的INT8量化。我实测过，精度损失控制在1%以内，速度提升非常明显。
但Jetson也有缺点：贵。Orin NX 16GB版本，单板价格在4000元以上。如果项目预算有限，就得考虑其他方案了。
2.3 RK3588：国产芯片的性价比之选
RK3588是瑞芯微的旗舰芯片。最近两年，国产替代的需求越来越强，RK3588成了很多团队的选择。
2.3.1 硬件规格
- CPU：4核Cortex-A76 + 4核Cortex-A55
- GPU：Mali-G610 MP4
- NPU：6 TOPS（INT8）
- 内存：最高32GB LPDDR4X
说实话，6 TOPS的NPU算力，跟Jetson Orin比确实有差距。但RK3588的优势在于：
- 价格低：开发板价格在1500元左右，量产成本更低
- 接口丰富：支持多路摄像头、以太网、PCIe等
- 国产可控：供应链安全
2.3.2 实际表现
我在RK3588上跑过一个轻量级BEV模型（基于ResNet18的backbone）。
用NPU推理，单帧处理时间在80ms左右，也就是12.5FPS。对于低速场景（比如园区物流车），这个性能是够用的。
避坑指南：我曾经在RK3588上踩过一个坑——NPU对某些算子支持不完善。比如GroupNorm，NPU不支持，只能回退到CPU跑，速度直接掉到5FPS。所以选型前，一定要确认你的模型算子是否被NPU支持。
2.4 选型策略：三步走
选平台不是拍脑袋。我总结了一套三步走的策略：
- 明确需求：你的BEV模型需要多少算力？目标帧率是多少？功耗限制是多少？
- 跑基准测试：用你的模型在目标平台上跑一遍。别信厂商的PPT，自己测最靠谱。
- 评估成本：包括硬件成本、开发成本、维护成本。Jetson开发快但贵，RK3588便宜但需要更多优化。
我的建议：如果项目预算充足，且对性能要求高（比如自动驾驶），直接上Jetson Orin系列。如果预算有限，或者做低速场景（比如扫地机器人、园区物流），RK3588是很好的选择。
2.5 实战案例：BEV模型在Jetson Orin上的部署
最后，分享一个我在Jetson Orin NX上部署BEV模型的实战案例。
2.5.1 模型配置
模型：BEVFormer-tiny
输入：6路摄像头，分辨率1280x720
输出：BEV特征图，200x200
精度：FP162.5.2 性能数据
| 配置 | 推理时间 | 帧率 | 功耗 |
|---|---|---|---|
| FP32 | 85ms | 11.7 FPS | 22W |
| FP16 | 45ms | 22.2 FPS | 18W |
| INT8 | 28ms | 35.7 FPS | 15W |
可以看到，从FP32到INT8，帧率提升了3倍，功耗还降低了。这就是TensorRT量化的威力。
经验之谈：做INT8量化时，一定要用校准集。我一开始偷懒没用校准集，结果精度掉了5%。后来老老实实准备了1000张图片做校准，精度损失控制在0.5%以内。
2.6 总结
选平台这件事，没有标准答案。Jetson和RK3588各有优劣，关键看你的项目需求。
我个人习惯是：先跑基准测试，再算成本账。别被TOPS数字忽悠了，实际跑起来才是硬道理。
嗯，今天就聊到这儿。下一章咱们聊聊模型量化，这可是嵌入式部署的核心技能。