1. AI芯片与大模型概述

1.1 AI芯片发展简史

说起AI芯片的发展，我入行那会儿，大家还在用通用CPU硬扛神经网络。说实话，那效率低得让人抓狂。一个简单的图像识别模型，跑一次要等好几分钟。

后来GPU登场了。NVIDIA的CUDA生态一出来，整个行业都兴奋了。为什么？因为GPU天生适合做矩阵运算，而深度学习说白了就是一堆矩阵乘法。我在2015年参与过一个项目，用GTX 980跑卷积神经网络，比当时最好的CPU快了将近20倍。嗯，那感觉就像换了台新机器。

再往后，专用AI芯片（ASIC）开始冒头。Google的TPU是个标志性事件。我记得第一次看到TPU的论文时，心里就一个想法：这条路走对了。专用芯片把矩阵运算单元做到极致，功耗和性能都碾压通用方案。

现在呢？AI芯片已经百花齐放了。英伟达的H100/B200、AMD的MI300X、华为的昇腾910B、寒武纪的思元系列……每家都有自己的绝活。我个人习惯把AI芯片分成三代：

代际	代表芯片	核心特点	典型应用
第一代	GPU (K80, P100)	通用计算，CUDA生态	图像分类，语音识别
第二代	TPU v2/v3, 昇腾910	专用矩阵单元，高吞吐	BERT, ResNet训练
第三代	H100, MI300X, 昇腾910B	大模型优化，显存带宽突破	GPT-4, Llama 3训练推理

1.2 大模型技术演进

大模型这个词，这几年火得不行。但你可能不知道，大模型的技术路线其实走了很长一段路。

2017年，Google发了那篇著名的《Attention is All You Need》。Transformer架构横空出世。我当时看完论文，第一反应是：这玩意儿能行吗？抛弃RNN和CNN，全靠注意力机制？事实证明，我错了。Transformer不仅行，而且彻底改变了NLP的格局。

2018年，BERT和GPT-1相继出现。BERT用双向注意力，GPT用单向自回归。两条路线，各有千秋。我在项目中测试过BERT做文本分类，效果确实比之前的ELMo好一大截。但真正让我震惊的是GPT-2——它居然能写出像模像样的文章了。

2020年，GPT-3来了。1750亿参数，这个数字当时把大家都吓到了。我有个朋友在OpenAI，他说训练一次GPT-3要花几百万美元。你想想看，这得烧多少钱？但效果也是真香——零样本学习、少样本提示，这些能力以前想都不敢想。

到了2022-2023年，大模型彻底爆发了。ChatGPT、Llama、ChatGLM、通义千问……一个接一个。模型规模从百亿到千亿，再到万亿。训练数据从TB级到PB级。算力需求呈指数级增长。

为什么会这样？说白了，就是Scaling Law在起作用。模型越大、数据越多、算力越强，效果就越好。这个规律目前还没看到天花板。

1.3 AI芯片的战略地位

大模型时代，AI芯片已经不是「要不要用」的问题，而是「用谁的、怎么用」的问题。我个人认为，AI芯片的战略地位体现在三个层面：

1. 算力底座：没有芯片，大模型就是空中楼阁。训练一个GPT-4级别的模型，需要上万张H100跑几个月。这背后是巨大的资本投入和能源消耗。
2. 生态壁垒：英伟达的CUDA生态，让后来者很难追赶。我见过不少初创公司想做AI芯片，结果卡在软件栈上。硬件好做，生态难建。
3. 自主可控：地缘政治背景下，国产AI芯片的自主化成了国家战略。昇腾、寒武纪、海光等厂商都在拼命追赶。我在一些国产化项目中，亲眼见证了国产芯片从「不能用」到「能用」再到「好用」的蜕变。

下面这张图，是我梳理的AI芯片与大模型的关系框架：

1.4 大模型对AI芯片的核心要求

大模型和传统模型对芯片的要求，差别很大。我总结了几点：

• 显存容量要大：70B模型用FP16加载，光权重就要140GB。加上KV Cache和中间激活，单卡显存至少得200GB+。H100的80GB显存，跑大模型根本不够，必须多卡并行。
• 显存带宽要高：推理时，每个token都要读取全部模型参数。带宽不够，计算单元就在空等。H100的3.35TB/s带宽，跑大模型才刚刚及格。
• 互联带宽要快：多卡并行时，卡间通信是最大瓶颈。NVLink 900GB/s的带宽，比PCIe 5.0的128GB/s强太多了。我见过不少项目，因为互联带宽不够，多卡效率只有单卡的60%。
• 算子要丰富：FlashAttention、Grouped Query Attention、MoE等新算子，需要芯片有灵活的指令集和编译器支持。否则只能手写CUDA，那效率……嗯，你懂的。

好了，这一章的内容就到这里。大模型和AI芯片的故事才刚刚开始，后面我们会深入每个技术细节。

---

公众号:蓝海资料掘金营，微信deep3321