FPGA加速大模型推理计算核心
📚 共计 30 章节
01
课程导论与硬件基础
大模型推理算力瓶颈 · FPGA vs GPU/ASIC · LUT/DSP/BRAM/URAM概览
架构
入门
02
开发环境搭建
Vivado/Vitis HLS安装 · 开发板选型 · 点亮LED硬件工程
工具链
实操
03
Verilog基础与流水线思维
组合/时序逻辑 · 阻塞/非阻塞赋值 · 流水线设计思想
RTL
核心
04
HLS高级综合入门
C→RTL机制 · ap_int/ap_fixed · PIPELINE/DATAFLOW指令
HLS
优化
05
矩阵乘法加速核心（一）
分块Tiling策略 · 单精度浮点矩阵乘 · GFLOPS评估
计算
GEMM
06
矩阵乘法加速核心（二）
脉动阵列架构 · 2D Systolic Array · 数据复用与带宽优化
架构
脉动
07
量化基础与定点数
INT8/INT4原理 · 浮点转定点误差 · ap_fixed实战
量化
精度
08
量化矩阵乘法
INT8矩阵乘HLS · 对称/非对称量化 · QAT与PTQ硬件适配
INT8
量化
09
激活函数硬件实现
ReLU/GELU/SiLU · LUT与PWL方法 · HLS资源对比
激活
近似
10
Softmax与LayerNorm
指数CORDIC · 均值方差计算 · HLS流水线优化
归一化
CORDIC
11
注意力机制（Attention）加速
QKV矩阵融合 · Scaled Dot-Product流水线 · Mask操作
Attention
流水线
12
多头注意力（MHA）实现
多头并行架构 · 数据重排Transpose · BRAM实现
MHA
并行
13
FlashAttention原理与硬件适配
Tiling思想 · SRAM/HBM搬运 · FPGA近似实现
Flash
存储
14
Transformer Block整体架构
残差连接 · FFN矩阵乘法 · Block级流水线
Transformer
流水线
15
Decoder-only架构（GPT类）加速
自回归KV Cache · BRAM/URAM管理 · HLS实现
GPT
KV
16
Encoder-only架构（BERT类）加速
双向注意力 · 序列长度与Batch权衡 · 资源分配
BERT
Encoder
17
内存子系统与数据搬运
HBM/DDR4 AXI接口 · 多通道DMA · 预取与乒乓操作
DMA
存储
18
片上存储优化
BRAM/URAM配置 · Blocking与Unrolling协同 · 寄存器阵列
BRAM
循环展开
19
计算与存储的平衡
Roofline模型 · 计算密度 · FPGA性能瓶颈分析
Roofline
瓶颈
20
编译器与工具链
Vitis AI编译流程 · DNNDK/DPU架构 · 自定义算子集成
编译器
DPU
21
OpenCL与HLS混合编程
主机端代码 · Kernel加载调度 · 多Kernel并行与事件同步
OpenCL
异构
22
RTL级精细优化
手动Verilog关键算子 · FSM控制 · 与HLS混合对比
RTL
FSM
23
大模型推理框架集成
接入PyTorch/TensorFlow · C++扩展与Pybind11 · 端到端延迟
框架
Pybind
24
性能分析与调优
Vivado时序报告 · LUT/FF/DSP/BRAM分析 · 功耗优化
时序
资源
25
多卡互联与扩展
多FPGA PCIe互联 · CCIX/OpenCAPI · 模型/流水线并行
互联
并行
26
稀疏性加速
稀疏性来源 · SpMM硬件设计 · 非零值编码索引
稀疏
SpMM
27
混合精度推理
FP16/BF16/INT8策略 · 精度单元复用 · 动态切换
混合精度
BF16
28
低延迟优化技术
流式架构 · 微流水线 · 关键路径时序优化
低延迟
微架构
29
实际案例：LLaMA-7B推理加速
FPGA部署方案 · 各层时间分解 · 与A100对比
LLaMA
案例
30
课程总结与未来展望
当前挑战 · 存算一体/近存计算 · RISC-V+FPGA融合
趋势
架构