第一章：AI芯片与算子加速库概述

大家好，我是你们这门课的主讲人。在芯片行业摸爬滚打了十几年，从早期的DSP到后来的GPU，再到现在的各种NPU，我算是亲眼见证了AI芯片的整个发展历程。今天咱们开篇，先聊聊AI芯片的前世今生，以及算子加速库到底是个什么角色。

说实话，很多人一上来就问我：“老师，到底该学GPU还是NPU？”我的回答通常是：别急，先搞清楚它们是怎么来的，你自然就知道怎么选了。

1.1 AI芯片发展简史

AI芯片的历史，其实并不长。我把它分成三个阶段来讲。

• 萌芽期（2010年以前）：那时候做AI，基本靠CPU硬扛。跑个简单的神经网络，服务器能热得跟烤箱似的。我记得2010年那会儿，用CPU跑一个手写数字识别，训练一次要一整天。后来大家发现，GPU的并行计算能力特别适合做矩阵运算，于是开始有人尝试用GPU跑深度学习。
• 爆发期（2012-2017年）：2012年AlexNet在ImageNet上大杀四方，用的就是GPU。从那以后，GPU成了AI训练的事实标准。NVIDIA的CUDA生态也顺势崛起。这个阶段，大家开始意识到：通用计算芯片（CPU）和图形渲染芯片（GPU）都不是为AI量身定做的，于是有了TPU、NPU这些专用芯片的萌芽。
• 百花齐放期（2018年至今）：谷歌的TPU、华为的昇腾、寒武纪的NPU……各种架构层出不穷。边缘计算、端侧推理的需求也催生了大量低功耗AI芯片。嗯，这里要注意，芯片架构的分化，直接决定了算子加速库的设计思路。

1.2 AI芯片架构分类

咱们把主流的AI芯片架构掰开揉碎了看看。你想想看，它们的设计哲学完全不同。

架构类型	代表产品	核心特点	适用场景
GPU	NVIDIA A100/H100	大量CUDA核心，SIMT架构，通用性强	训练、云端推理
TPU	Google TPU v4	脉动阵列，专为矩阵乘法优化	大规模训练、推理
NPU	华为昇腾910	DaVinci架构，3D Cube矩阵计算单元	训练、推理、边缘计算

GPU：说白了就是“人多力量大”。成千上万个简单的计算核心，同时干活。我在项目中遇到过一个问题：GPU的显存带宽是瓶颈，数据搬来搬去的时间比计算时间还长。所以写GPU算子时，访存优化是第一要务。

TPU：谷歌的TPU用的是脉动阵列（Systolic Array）。这玩意儿特别有意思——数据像流水一样在计算单元之间流动，每个单元只做最简单的乘加操作。我曾经拆解过TPU的论文，发现它的设计思路其实很朴素：既然AI计算99%都是矩阵乘法，那我就把矩阵乘法做到极致。

NPU：以华为的DaVinci架构为例，它搞了个3D Cube，一次能算16x16x16的矩阵乘法。这种设计的好处是计算密度极高，坏处是——嗯，编程难度也高。你写算子时得时刻想着怎么把数据喂给那个Cube，不然它就闲着。

1.3 算子加速库的定位与价值

算子加速库是什么？说白了，它就是连接AI框架（比如PyTorch、TensorFlow）和底层芯片的桥梁。

你想想看，一个AI模型里有几十上百个算子（Conv2D、MatMul、Softmax……）。如果每个算子都要手写汇编去调芯片的指令，那工程师得累死。算子加速库的作用就是：把常用的计算操作封装成高性能的API，让上层框架直接调用。

它的价值体现在三个层面：

• 性能：手写代码和调优后的库函数，性能差距可能达到10倍以上。我见过一个项目，用naive的卷积实现，跑一个ResNet-50要200ms；换成优化后的算子库，只要15ms。
• 易用性：开发者不需要了解底层芯片的细节。你调用一个`conv2d`函数，底层是用脉动阵列还是用SIMD指令，跟你没关系。
• 可移植性：同一个AI模型，换了个芯片，只要换对应的算子库就行。框架代码基本不用动。

1.4 课程整体路线图

这门课一共30章，我把它分成四个模块。咱们先看看整体框架：

具体来说：

• 模块一（第1-5章）：打基础。讲芯片架构、编程模型、算子接口设计。这部分我会带着大家手写一个简单的算子，感受一下从算法到硬件的映射过程。
• 模块二（第6-15章）：核心算子实现。卷积、矩阵乘、归一化……这些最常用的算子，我会从朴素实现讲到极致优化。每个算子我都会给出性能对比数据。
• 模块三（第16-23章）：进阶内容。算子编译器、自动调优。这部分比较硬核，我会用TVM和Triton做实战演示。
• 模块四（第24-30章）：项目实战。从零开始构建一个完整的算子加速库，并在端侧设备上部署。

好了，第一章就到这里。咱们下一章开始深入芯片架构，看看那些计算单元到底是怎么工作的。