Transformer专用硬件加速实战

📚 共计 30 章节

Transformer模型基础与硬件加速概览

Transformer架构核心组件（Self-Attention、FFN、LayerNorm）、计算与访存特性分析、硬件加速的必要性与挑战、专用加速器设计目标。

硬件加速基础

数字电路基础回顾（组合逻辑与时序逻辑）、并行计算原理（数据级并行、任务级并行、流水线）、存储层次结构（SRAM、DRAM、HBM）、片上网络（NoC）基础。

数字电路并行

矩阵乘法加速

矩阵乘法在Transformer中的核心地位、Systolic Array（脉动阵列）原理与设计、脉动阵列的数据流（Weight Stationary、Input Stationary、Output Stationary）、优缺点分析。

脉动阵列矩阵

Self-Attention加速

QKV线性投影的硬件映射、Scaled Dot-Product Attention的并行化、Softmax的硬件实现（查找表与分段线性近似）、Mask机制的硬件支持。

AttentionSoftmax

多头注意力（MHA）加速

MHA的计算模式分析、MHA的并行策略（头间并行与头内并行）、MHA的硬件架构设计、MHA的访存优化。

FFN的计算特性（两个线性层+激活函数）、GELU/ReLU的硬件实现、FFN的稀疏化与剪枝加速、FFN的硬件映射策略。

FFN激活函数

LayerNorm与残差连接加速

LayerNorm的计算流程（均值、方差、归一化）、LayerNorm的硬件实现（近似计算与查找表）、残差连接的硬件支持、融合算子设计。

LayerNorm残差

Transformer加速器整体架构

经典加速器架构分析（TPU、NVDLA、Eyeriss等）、计算单元设计（MAC阵列、Vector Unit）、控制单元与指令集设计、数据通路与存储系统设计。

数据流与调度策略

数据流分类（权重固定、输入固定、输出固定、行固定）、Transformer加速器的数据流选择、动态调度与静态调度、脉动阵列的调度优化。

数据流调度

量化技术基础

量化原理（对称量化、非对称量化）、量化参数（Scale、Zero Point）、训练后量化（PTQ）与量化感知训练（QAT）、整型量化（INT8、INT4）与浮点量化（FP16、BF16）。

Transformer量化实战

Attention的量化挑战（Softmax、Outlier）、KV Cache量化、全模型量化策略、混合精度量化（不同层不同精度）。

量化实战混合精度

稀疏化与剪枝

结构化剪枝与非结构化剪枝、Attention头的剪枝、FFN的神经元剪枝、稀疏矩阵的硬件加速（稀疏感知的脉动阵列）。

知识蒸馏原理（教师-学生模型）、Transformer的蒸馏策略（层数蒸馏、注意力蒸馏）、蒸馏对硬件加速的影响、蒸馏与量化的联合优化。

硬件友好的Transformer变体

Linear Attention（线性注意力）、FlashAttention原理、Swin Transformer的硬件友好设计、MobileNet/EdgeFormer等轻量级架构。

变体FlashAttention

FPGA加速实战（一）

FPGA开发流程回顾（HLS与RTL）、Vivado HLS基础、矩阵乘法加速器的HLS实现、脉动阵列的HLS实现。

FPGA加速实战（二）

Self-Attention模块的HLS实现、Softmax的HLS实现、完整Transformer层的FPGA部署、性能评估与优化。

ASIC加速器设计（一）

ASIC设计流程（Spec、RTL、验证、综合、布局布线）、Transformer加速器的RTL设计（MAC单元、控制逻辑）、验证策略（UVM与形式化验证）。

ASIC加速器设计（二）

加速器的低功耗设计（时钟门控、电源门控、DVFS）、物理设计挑战（布局、时钟树综合）、后仿真与Sign-off。

低功耗物理设计

存算一体架构

存算一体原理（近存计算与存内计算）、SRAM-based存算一体、ReRAM/PCM-based存算一体、Transformer的存算一体映射。

存算一体近存

光计算与新型计算范式

光计算原理（MZI、微环谐振器）、光学Transformer加速器、模拟计算与数字计算的权衡、量子计算在Transformer中的潜力。

光计算前沿

编译器与工具链（一）

TVM与MLIR基础、Transformer的IR表示（Relay、StableHLO）、算子融合与图优化、内存规划与数据布局优化。

编译器与工具链（二）

自动调优（AutoTVM、Ansor）、代码生成（CUDA、OpenCL、Vulkan）、硬件后端适配（FPGA、ASIC）、性能剖析与瓶颈分析。

自动调优代码生成

分布式推理加速

模型并行（层间并行、张量并行）、数据并行、流水线并行、混合并行策略（3D并行）、分布式推理的通信优化（All-Reduce、Ring拓扑）。

分布式并行

边缘端部署优化

边缘设备的资源约束（算力、内存、功耗）、模型压缩（量化、剪枝、蒸馏）的边缘适配、TFLite/ONNX Runtime/NCNN等框架的硬件加速、NPU/DSP的异构计算。

服务端部署优化

GPU集群的推理优化（TensorRT、FasterTransformer）、CPU推理优化（oneDNN、MKL）、吞吐量与延迟的权衡、动态批处理与连续批处理。

服务端TensorRT

性能评估与基准测试

性能指标（吞吐量、延迟、功耗、能效比）、基准测试集（MLPerf Inference、TinyMLPerf）、性能建模与Roofline模型、Profiling工具（NVIDIA Nsight、Intel VTune）。

前沿研究热点（一）

稀疏注意力（Sparse Attention、Longformer、BigBird）、线性复杂度Transformer（Performer、Linformer）、状态空间模型（Mamba）的硬件加速。

稀疏注意力Mamba

前沿研究热点（二）

大语言模型（LLM）的推理加速（KV Cache优化、Speculative Decoding、PageAttention）、多模态Transformer的硬件加速、Transformer的片上训练。

LLMPageAttention

综合项目实战（一）

项目需求分析（目标场景、性能指标、资源约束）、架构设计（计算单元、存储系统、数据流）、RTL/HLS实现与仿真、FPGA原型验证。

综合项目实战（二）

编译器适配与算子库开发、系统集成与端到端测试、性能调优与功耗优化、项目总结与经验分享。