第二章：边缘硬件选型——主流芯片对比与开发板实战
做边缘端深度学习部署，第一步不是写代码，而是选硬件。
我见过太多团队，模型调得飞起，结果发现芯片跑不动。或者功耗压不住，散热片烫得能煎鸡蛋。嗯，选型这事，说白了就是算力、功耗、成本三者的平衡游戏。
2.1 主流芯片架构：GPU、FPGA、ASIC、NPU
先聊聊这四类芯片。它们各有脾气，选错了真会哭。
2.1.1 GPU——通用但费电
GPU大家都熟。CUDA生态太强了，做AI的基本都绕不开。但边缘端用GPU，我个人习惯是慎之又慎。
优点：
- 生态成熟，PyTorch/TensorFlow直接跑
- 算力天花板高，Jetson Orin能到200 TOPS
- 调试方便，PC上跑通就能移植
缺点：
- 功耗高，Jetson Orin满载60W，电池扛不住
- 价格贵，一块Jetson AGX Orin要上万
- 实时性一般，不适合硬实时场景
2.1.2 FPGA——灵活但难啃
FPGA这东西，又爱又恨。它最大的优势是「可重构」——今天做CNN加速，明天改做目标检测，重新烧录就行。
优点：
- 延迟极低，微秒级响应
- 功耗可控，通常5-15W
- 接口灵活，可以接各种传感器
缺点：
- 开发门槛高，Verilog/VHDL不是谁都能写
- 浮点运算弱，INT8是主流
- 生态差，没有现成的深度学习框架支持
2.1.3 ASIC——专用但死板
ASIC就是定制芯片。比如Google的TPU、华为的昇腾。它只做一件事，但做得特别好。
优点：
- 能效比极高，TOPS/W是GPU的10倍以上
- 算力密度大，小体积大算力
- 批量成本低，百万片级单价很低
缺点：
- 流片成本高，一次几千万
- 灵活性差，算法变了芯片就废了
- 开发周期长，18个月起步
说实话，ASIC不是小团队玩得起的。除非你出货量百万级，否则别碰。
2.1.4 NPU——边缘端的最优解
NPU是专门为神经网络设计的。它把卷积、池化、激活函数做成了硬件电路。你想想看，这效率能不高吗？
优点：
- 能效比极高，1W能跑1-2 TOPS
- 开发简单，Caffe/TensorFlow模型直接转
- 成本低，几十块钱的芯片就能跑轻量模型
缺点：
- 算子支持有限，有些自定义层跑不了
- 精度损失，INT8量化后可能掉点
- 厂商绑定，换了芯片要重新适配
2.2 算力与功耗的权衡艺术
选芯片不是看TOPS越高越好。你得算一笔账。
| 芯片类型 | 典型算力 | 典型功耗 | 能效比(TOPS/W) | 适用场景 |
|---|---|---|---|---|
| Jetson Orin | 200 TOPS | 60W | 3.3 | 自动驾驶、机器人 |
| RK3588 | 6 TOPS | 5W | 1.2 | 智能摄像头、边缘盒子 |
| K210 | 0.8 TOPS | 0.3W | 2.7 | 语音唤醒、简单分类 |
| Xilinx Zynq | 1.5 TOPS | 10W | 0.15 | 工业检测、实时控制 |
你看，Jetson Orin算力最高，但功耗也最高。K210算力最低，但功耗只有0.3W。怎么选？
我个人习惯是：先定功耗预算，再找算力上限。比如电池供电的设备，功耗不能超过5W，那RK3588就是天花板了。如果插电用，那Jetson Orin可以考虑。
2.3 常见开发板实战对比
聊完芯片，咱们看看实际开发板。这三款是我用得最多的。
2.3.1 Jetson系列——GPU派的王者
NVIDIA的Jetson系列，从Nano到Orin，覆盖了从入门到旗舰。
Jetson Nano (4GB)：
- 算力：472 GFLOPS
- 功耗：5-10W
- 价格：约1000元
- 适合：入门学习、轻量推理
Jetson Orin NX (16GB)：
- 算力：100 TOPS
- 功耗：15-25W
- 价格：约5000元
- 适合：中等复杂度模型
Jetson的优势是生态。CUDA、TensorRT、DeepStream，一套组合拳下来，部署效率很高。但价格确实贵，而且功耗偏高。
2.3.2 RK3588——国产NPU的标杆
瑞芯微的RK3588，最近两年火得不行。8核CPU + 6 TOPS NPU，价格才几百块。
核心参数：
- CPU：4×Cortex-A76 + 4×Cortex-A55
- NPU：6 TOPS (INT8)
- 内存：8-16GB LPDDR4x
- 功耗：5-10W
- 价格：约600-1000元
RK3588的NPU支持TensorFlow、PyTorch、ONNX模型转换。我试过，YOLOv5s跑INT8量化，能到25fps。功耗才5W，比Jetson Nano省电一半。
2.3.3 K210——极致低功耗的选择
嘉楠科技的K210，主打超低功耗。0.3W的功耗，能跑0.8 TOPS。适合做语音唤醒、简单图像分类。
核心参数：
- CPU：双核RISC-V
- NPU：0.8 TOPS (INT8)
- 内存：8MB SRAM
- 功耗：0.3-0.5W
- 价格：约50元
K210的局限性很明显——内存太小，跑不了大模型。我试过跑MobileNetV2，量化后勉强能到10fps。但做语音关键词识别，效果很好。
2.4 选型决策树
最后，我总结一个简单的选型思路：
- 先定功耗：电池供电选5W以下，插电选15W以上
- 再定算力：简单分类选1 TOPS以下，目标检测选5-10 TOPS，复杂模型选50 TOPS以上
- 看生态：团队熟悉CUDA选Jetson，熟悉Linux选RK3588，做超低功耗选K210
- 算成本：量产1000片以上，RK3588性价比最高；100片以内，Jetson开发效率更高
嗯，这一章就到这里。下一章咱们聊聊模型量化——怎么把FP32的模型压缩成INT8，精度不掉，速度翻倍。