第一章 NPU驱动概述
大家好，我是你们这门课的老朋友。做了十几年嵌入式，从早期的DSP到后来的GPU，再到现在的NPU，我算是亲眼看着手机芯片里的“新物种”是怎么一步步长起来的。今天咱们聊聊NPU驱动，这玩意儿说白了，就是让手机里那个专门干AI活的“小脑”听话干活的一套软件。
1.1 什么是NPU
NPU，全称Neural Processing Unit，神经网络处理单元。你想想看，CPU是通用大脑，什么活都能干但干得慢；GPU是图形加速器，擅长并行计算但功耗高；NPU呢？它是专门为神经网络推理设计的硬件加速器。
我打个比方你就明白了。CPU就像个全能杂货铺老板，什么商品都能卖，但每次只能服务一个顾客。GPU像个大型超市，能同时服务很多人，但货架布局是通用的。NPU呢？它是个专卖店，只卖一种商品——矩阵乘法和卷积运算。因为专一，所以效率极高。
核心特点：
- 高度并行的乘累加阵列（MAC Array）
- 支持定点量化计算（INT8/INT4）
- 片上存储层次化设计（SRAM + 缓存）
- 专用指令集（非通用指令）
我记得第一次接触NPU是在2017年，当时华为的麒麟970刚出来，号称内置了NPU。我拿到开发板后第一件事就是跑了个MobileNet，结果发现同样的模型，CPU跑要200ms，NPU只要15ms。说实话，当时我挺震惊的。从那以后，我就开始深入研究NPU驱动了。
1.2 NPU在手机SoC中的角色
现在的手机SoC，说白了就是个大杂烩。CPU、GPU、DSP、ISP、NPU……每个模块各司其职。NPU在里面扮演什么角色？我总结了三句话：
- 加速推理：把AI模型跑得更快、更省电
- 卸载CPU：把CPU从繁重的矩阵运算中解放出来
- 赋能场景：让拍照、语音、游戏等场景更智能
举个例子，你手机相册里的“人像模式”，背景虚化效果就是NPU在干活。摄像头拍下画面后，NPU会实时运行一个语义分割模型，把人物和背景分开，然后交给ISP做虚化处理。整个过程不到30ms，你按下快门的同时效果就出来了。如果没有NPU，靠CPU跑这个模型，至少得1秒钟，体验就完全不一样了。
为什么会这样？因为NPU的架构天生适合做这种计算密集型任务。CPU虽然也能做，但功耗和延迟都扛不住。你想想看，如果每次拍照CPU都要满负荷跑几百毫秒，手机电池能撑多久？
避坑指南：我曾经在项目里犯过一个低级错误——把NPU当成万能加速器。有个同事想把一个LSTM模型放到NPU上跑，结果发现NPU对循环神经网络的支持很差，性能还不如CPU。后来我才明白，NPU最擅长的是CNN这类前馈网络，RNN/LSTM还是得用CPU或DSP。所以选型时一定要看清楚NPU支持的算子类型。
1.3 驱动开发环境搭建
好，聊完了概念，咱们来点实际的。做NPU驱动开发，环境搭建是第一步。这一步搞不好，后面全是白搭。我见过太多新手卡在环境配置上，一卡就是好几天。
1.3.1 交叉编译工具链
NPU驱动跑在手机SoC上，但代码是在PC上写的。所以你需要交叉编译工具链。说白了，就是在PC上编译出能在ARM架构上运行的二进制文件。
常用的工具链有：
| 工具链 | 适用平台 | 备注 |
|---|---|---|
| arm-linux-gnueabihf- | ARM 32位 | 老平台常用 |
| aarch64-linux-gnu- | ARM 64位 | 主流手机SoC |
| Android NDK | Android系统 | 自带交叉编译工具 |
我个人习惯用Android NDK，因为大多数手机NPU驱动都是跑在Android系统上的。安装步骤很简单：
# 下载NDK
wget https://dl.google.com/android/repository/android-ndk-r25c-linux.zip
unzip android-ndk-r25c-linux.zip
# 设置环境变量
export NDK_HOME=/path/to/android-ndk-r25c
export PATH=$PATH:$NDK_HOME/toolchains/llvm/prebuilt/linux-x86_64/bin
# 测试编译
aarch64-linux-android21-clang --version
嗯，这里要注意：NDK版本别选太新的，有些老NPU驱动对Clang版本有要求。我建议用r23或r25，兼容性比较好。
1.3.2 模拟器
没有开发板的时候怎么办？用模拟器。NPU模拟器一般由芯片厂商提供，比如：
- 高通：SNPE SDK自带模拟器
- 联发科：NeuroPilot模拟器
- 华为：HiAI DDK模拟器
模拟器的好处是调试方便，可以单步执行、查看寄存器状态。但缺点也很明显——性能不准。模拟器跑出来的延迟和实际芯片差很多，只能用来验证功能正确性。
注意：我曾经在模拟器上调试了一个星期的驱动，所有功能都正常，结果烧到开发板上直接崩溃。查了两天才发现是内存对齐问题——模拟器对非对齐访问容忍度很高，但真实硬件会直接报错。所以，模拟器只能用来做功能验证，性能调优和稳定性测试一定要上真机。
1.3.3 开发板
开发板是最终归宿。常见的NPU开发板有：
- 高通QCS8250：带Hexagon DSP和NPU
- 联发科Genio 700：带APU（AI Processing Unit）
- 华为Atlas 200：带DaVinci架构NPU
我个人推荐初学者用高通的QCS8250，文档齐全，社区活跃，遇到问题容易找到答案。联发科的也不错，但文档大多是中文的，英文资料少一些。
开发板到手后，第一件事是刷系统。一般厂商会提供预装Linux或Android的镜像。刷机步骤大同小异：
# 进入fastboot模式
adb reboot bootloader
# 刷写boot分区
fastboot flash boot boot.img
# 刷写system分区
fastboot flash system system.img
# 重启
fastboot reboot
刷完系统后，验证NPU驱动是否加载成功：
# 查看NPU设备节点
ls /dev/npu* # 或 /dev/accelerator*
# 查看驱动日志
dmesg | grep npu
# 运行厂商提供的测试程序
npu_test --model mobilenet_v1.nb
如果能看到类似“NPU driver initialized successfully”的日志，恭喜你，环境搭好了。
小技巧：我习惯在开发板上装一个BusyBox，这样可以用一些Linux标准工具。另外，建议用screen或tmux管理多个终端会话，调试驱动时经常需要同时看内核日志和用户态程序输出，一个终端切来切去太麻烦了。
本章小结
这一章我们聊了NPU是什么、在手机SoC里干什么活，以及怎么搭建开发环境。说白了，NPU就是个专干AI推理的加速器，驱动开发的核心就是让上层应用能高效地调用这个加速器。环境搭建这块，交叉编译工具链、模拟器、开发板，三件套缺一不可。我建议你先用模拟器熟悉流程，再上开发板做真机调试。
下一章我们会深入NPU的硬件架构，看看那些MAC阵列、片上存储、数据通路到底是怎么工作的。到时候我会拿一个实际的NPU芯片做例子，带你把硬件手册看懂。