2. 硬件基础：端侧芯片（CPU/GPU/NPU）的功耗特性与计算瓶颈分析
做端侧大模型推理，说白了就是跟功耗和算力较劲。你想想看，一个几十亿参数的模型，要跑在手机、智能眼镜或者边缘盒子上，这本身就是个「螺蛳壳里做道场」的活。我这些年调过不少端侧芯片，从高通骁龙到联发科天玑，再到各种国产NPU，踩过的坑真不少。今天咱们就掰开揉碎，聊聊CPU、GPU、NPU这三兄弟在功耗和计算上的那些事儿。
核心观点：端侧推理的瓶颈从来不是单一算力，而是「功耗墙」和「带宽墙」的双重夹击。理解这三类处理器的特性，是做好优化的第一步。
2.1 CPU：通用但低效的「老黄牛」
CPU在端侧推理里，通常扮演「兜底」的角色。为什么这么说？因为它什么都能干，但什么都不精。
功耗特性：
- 动态功耗占比高：CPU的功耗主要来自晶体管开关活动。频率越高，电压越高，功耗呈二次方增长。我在项目中遇到过，一个四核A76跑满2.4GHz，瞬间功耗能飙到3W以上，这在手机上就是「暖手宝」级别。
- 漏电功耗不可忽视：先进制程（比如5nm、4nm）下，静态漏电越来越严重。芯片待机时，漏电功耗可能占到总功耗的30%。
- 大小核架构的博弈：现在的端侧芯片都玩「大小核」——大核（Cortex-X系列）负责爆发，小核（A55/A510）负责省电。但实际推理时，任务调度经常出问题。我见过模型推理被调度到小核上，速度慢得让人抓狂。
计算瓶颈：
- 算力天花板低：CPU的SIMD（单指令多数据）单元，比如ARM的NEON或SVE，虽然能加速矩阵运算，但跟GPU/NPU比，算力差了两个数量级。一个典型的CPU核心，INT8算力也就几十到几百GOPS（十亿次操作/秒）。
- 内存带宽受限：CPU通常共享系统内存带宽，而大模型推理是「带宽饥渴」的。一次矩阵乘法，数据要从DDR里搬进搬出，带宽往往先被吃满。我调过一个BERT模型，CPU利用率只有40%，但内存带宽已经100%了——典型的「等数据」场景。
- 缓存命中率是关键：CPU的L1/L2缓存很小（几十KB到几MB），模型权重稍微大一点，就频繁缓存未命中，性能断崖式下跌。
我的经验：CPU适合跑小模型（<10M参数）或者做预处理/后处理。比如语音唤醒词检测、简单的文本分类。别拿CPU去跑7B模型，那是自讨苦吃。
2.2 GPU：并行利器，但功耗是硬伤
GPU天生为并行计算而生。端侧GPU（比如高通Adreno、ARM Mali、苹果自研GPU）在图形渲染之外，也开始承担AI推理任务。但说实话，它并不是为AI设计的。
功耗特性：
- 高并行带来高功耗：GPU有数百到数千个计算单元，同时工作时，功耗很容易突破5W。我记得在骁龙8 Gen2上跑Stable Diffusion，GPU功耗直接冲到8W，手机发烫到拿不住。
- 频率与电压的甜蜜点：GPU有个「效率拐点」——频率超过某个值（比如800MHz），性能提升有限，但功耗暴涨。我建议做推理时，手动锁定GPU频率到甜蜜点，而不是让它自动睿频。
- 显存带宽是命门：端侧GPU通常使用LPDDR内存，带宽在20-60GB/s之间。对比一下，服务器GPU的HBM带宽是1-2TB/s。所以端侧GPU推理，带宽永远是第一瓶颈。
计算瓶颈：
- 矩阵乘法效率不高：GPU的Tensor Core（比如NVIDIA的）在端侧并不普及。大多数端侧GPU只能用FP16或INT8的通用ALU做矩阵乘法，效率远低于NPU。
- 算子支持不完整：很多AI算子（比如LayerNorm、Softmax）在GPU上需要手写Shader，或者用OpenCL/Metal API实现。我踩过坑——一个简单的GELU激活函数，在GPU上实现不当，性能比CPU还差。
- 驱动开销大：每次提交计算任务到GPU，都有不小的驱动延迟。对于小模型，这个延迟可能比计算时间还长。
避坑指南：我曾经在Mali GPU上跑一个Transformer模型，发现推理时间忽高忽低。查了半天，原来是GPU频率调节策略导致的——驱动会根据负载动态调频，但AI推理的负载模式跟图形渲染完全不同。最后我手动锁频才解决问题。
2.3 NPU：专用加速器，但「娇气」得很
NPU（神经网络处理器）是专门为AI设计的。它牺牲了通用性，换来了极致的能效比。现在几乎所有旗舰端侧芯片都集成了NPU，比如高通Hexagon、联发科APU、苹果Neural Engine、华为达芬奇。
功耗特性：
- 能效比惊人：NPU的典型功耗在0.5W-2W之间，但能提供数TOPS（万亿次操作/秒）的算力。以INT8为例，1W功耗能换来5-10TOPS的算力，比GPU高一个数量级。
- 静态功耗低：NPU通常有独立的电源域，不工作时可以完全断电。这一点在手机这种电池供电的设备上特别重要。
- 数据搬运是主要功耗来源：NPU计算单元本身的功耗很低，但数据要从DDR搬到NPU的SRAM里，这个搬运过程消耗了大量能量。我测过一个NPU，计算只占30%功耗，数据搬运占了60%。
计算瓶颈：
- 算子支持有限：NPU只支持特定的算子集合（比如Conv2D、MatMul、ReLU）。遇到不支持的算子（比如TopK、Gather），就得fallback到CPU或GPU，性能一落千丈。
- 内存容量小：NPU的片上SRAM通常只有几百KB到几MB。大模型必须分块计算，频繁的数据换入换出会严重拖慢速度。
- 精度敏感：NPU主要用INT8/INT4量化计算。如果模型量化后精度损失大，就得用FP16，但FP16在NPU上的效率通常只有INT8的1/3到1/2。
- 编译器依赖强：NPU不像CPU/GPU有成熟的指令集，它依赖厂商提供的编译器将模型转换成NPU指令。编译器质量直接决定推理性能。我遇到过编译器把卷积优化成矩阵乘法，结果内存访问模式很差，性能反而下降。
我的建议：用NPU之前，一定要先看它的算子支持列表。如果模型里用了NPU不支持的算子，要么替换成支持的，要么做好混合推理（NPU+CPU）的准备。
2.4 三者的对比与选择策略
为了让你看得更清楚，我整理了一个对比表：
| 特性 | CPU | GPU | NPU |
|---|---|---|---|
| 典型功耗 | 1-5W | 3-8W | 0.5-2W |
| INT8算力 | 0.1-1 TOPS | 1-10 TOPS | 5-50 TOPS |
| 能效比 | 低 | 中 | 高 |
| 通用性 | 高 | 中 | 低 |
| 主要瓶颈 | 算力、带宽 | 功耗、带宽 | 算子支持、内存 |
| 适用场景 | 小模型、预处理 | 中等模型、图形+AI | 大模型、低功耗推理 |
选择策略：
- 模型小于10M参数：CPU就够了，省去异构调度的麻烦。
- 模型在10M-100M参数：优先考虑NPU。如果NPU不支持某些算子，用GPU做补充。
- 模型大于100M参数：必须用NPU，而且要做好量化、剪枝、知识蒸馏等压缩工作。否则功耗和延迟都扛不住。
2.5 知识体系总览
下面这张图，是我梳理的本章核心逻辑。你可以把它当作一个「导航图」，方便以后回顾。
嗯，这张图把CPU、GPU、NPU的功耗特性和计算瓶颈都串起来了。你仔细看看，会发现一个规律——通用性越强，能效比越低；专用性越强，能效比越高，但灵活性越差。这就是端侧推理的「不可能三角」：通用、高效、低功耗，三者最多得其二。
我个人习惯在项目开始前，先画一张类似的图，把芯片的「脾气」摸清楚。比如NPU虽然能效高，但它的算子支持列表就像一份「菜单」——你只能点菜单上有的菜。如果模型里用了菜单外的算子，那就得自己「加菜」，也就是手写自定义算子或者做算子融合。这个过程很痛苦，但也是优化的乐趣所在。
好了，这一章的内容就到这里。记住，理解硬件是优化的前提。下一章我们会深入具体的量化技术，看看怎么把模型「瘦身」到能在端侧跑起来。