1. 课程导论：为什么需要FPGA加速大模型？FPGA vs GPU vs ASIC对比，课程目标与前置知识
1.1 一个让我重新思考计算架构的问题
几年前，我接手了一个项目——在数据中心部署一个中等规模的BERT模型做实时推理。当时团队的第一反应是上GPU。毕竟，GPU在AI训练领域几乎是垄断地位。但问题来了：推理延迟要求低于5毫秒，功耗预算卡得死死的，而且客户要求能灵活切换不同版本的模型。
GPU跑起来确实快，但功耗高得吓人。ASIC呢？性能最优，但流片周期太长，等芯片回来，模型早就迭代了好几轮。这时候，我脑子里冒出一个念头：FPGA能不能干这个活？
说实话，当时我心里也没底。但试过之后，我发现FPGA在低延迟、高能效、可重构这三个维度上，恰好切中了痛点。嗯，这就是为什么我们今天要聊这个话题。
核心观点：大模型推理正在从“训练中心”转向“部署中心”。GPU擅长训练，但在推理场景下，FPGA和ASIC各有不可替代的优势。FPGA的灵活性让它成为“快节奏迭代”场景下的最佳折中方案。
1.2 FPGA vs GPU vs ASIC：一场三角博弈
我习惯用一个简单的表格来对比这三者。你想想看，选型的时候，我们其实是在性能、功耗、灵活性这三个角力点上做权衡。
| 维度 | GPU | FPGA | ASIC |
|---|---|---|---|
| 计算密度 | 极高（数千个CUDA核心） | 中等（LUT+DSP+BRAM） | 最高（全定制） |
| 能效比（TOPS/W） | 中等（约0.5-1） | 较高（约2-5） | 最高（约5-20） |
| 延迟 | 较高（受PCIe和驱动影响） | 极低（硬件直通） | 极低 |
| 灵活性 | 高（软件可编程） | 极高（硬件可重构） | 无（固定功能） |
| 开发周期 | 短（CUDA/PyTorch） | 中等（HLS/Verilog） | 长（12-18个月） |
| 适用场景 | 训练、批量推理 | 实时推理、边缘部署 | 超大规模、固定模型 |
我在项目中遇到过这样一个情况：用GPU做推理，batch size=1的时候，延迟能做到3ms，但功耗直接飙到250W。换成FPGA，同样的延迟，功耗只有40W。你说，对于边缘设备或者数据中心里成百上千的节点，这个差距意味着什么？
避坑指南：我曾经以为FPGA开发就是写写Verilog，结果发现大模型推理涉及大量矩阵运算和内存管理。后来我改用HLS（高层次综合）来加速开发，效率提升了不少。但HLS也有坑——它生成的硬件不一定最优，需要手动调优。
1.3 为什么FPGA特别适合大模型推理？
说白了，大模型推理的核心瓶颈不是算力，而是内存带宽和访存模式。Transformer模型里的矩阵乘法、注意力机制，本质上都是对大量数据的重复搬运和计算。
FPGA有几个天生的优势：
- 定制化的数据流架构：你可以把整个计算图映射成流水线，数据从内存流进来，结果直接流出去，中间不需要来回搬运。GPU的SIMT架构在这方面反而有开销。
- 灵活的精度控制：大模型推理可以用INT8甚至INT4量化。FPGA的DSP单元可以灵活配置成不同位宽，不像GPU那样必须对齐到16位或32位。
- 低延迟的片上存储：BRAM和UltraRAM可以做成巨大的片上缓存，减少对外部DDR的访问。我做过一个实验，把注意力矩阵的中间结果全部缓存在BRAM里，延迟直接降了40%。
注意：FPGA不是万能的。如果你的模型需要频繁更新权重（比如在线学习），FPGA的重配置时间（几百毫秒到几秒）可能成为瓶颈。这时候GPU的软件更新优势就体现出来了。
1.4 课程目标：从入门到实战
这门课的目标很明确：让你能独立完成一个FPGA加速的大模型推理系统。不是纸上谈兵，而是真正能跑起来的硬件设计。
具体来说，学完这门课，你应该能做到：
- 理解大模型的计算模式：知道Transformer、Attention、FFN这些模块在硬件上长什么样。
- 掌握FPGA开发流程：从HLS设计到RTL仿真，再到板级调试，每一步都能上手。
- 实现关键算子加速：比如矩阵乘法、Softmax、LayerNorm的硬件实现。
- 搭建完整的推理流水线：包括数据加载、计算调度、结果输出。
- 优化性能与功耗：学会用Vivado的时序分析和功耗分析工具做迭代优化。
1.5 前置知识：你需要带什么来上课？
我建议你具备以下基础，不然可能会有点吃力：
- 数字电路基础：知道什么是触发器、查找表、加法器。不用精通，但至少能看懂简单的Verilog代码。
- Python/C++编程能力：HLS开发用的是C++，模型解析和数据处理用Python。能写简单的脚本就行。
- 机器学习基础：理解神经网络的基本概念，知道Transformer是怎么工作的。如果你用过PyTorch或TensorFlow，那就更好了。
- 一点点耐心：FPGA开发不像写软件那样“改完代码就能跑”。综合一次可能要几十分钟，调试起来需要耐心。我刚开始做的时候，经常为了一个时序违例折腾一整天。
我的建议：如果你对FPGA完全陌生，可以先花一周时间跑一个简单的LED闪烁例程，感受一下从代码到硬件的完整流程。这能帮你建立信心。
1.6 知识体系总览
下面这张图是我自己画的，它概括了这门课的核心逻辑。你可以把它当作一张地图，随时回来看看自己走到哪了。
这张图展示了从模型分析到硬件实现再到性能优化的完整链路。每一层都对应课程中的几个章节。你跟着这个路径走，就不会迷路。
1.7 写在最后
FPGA加速大模型推理，这条路并不轻松。但说实话，当你看到自己写的代码在示波器上跑出预期的波形，或者把推理延迟从10ms压到1ms的时候，那种成就感是写软件给不了的。
这门课我会尽量把踩过的坑、总结的经验都分享出来。有些地方可能讲得比较细，有些地方会跳过去——因为我觉得你作为工程师，应该有能力自己补上那些细节。
好了，我们开始吧。