嵌入式推理算子加速器实现 · 课程目录

01嵌入式AI与算子加速概述

AI在嵌入式端的挑战为什么需要算子加速课程目标与学习路径

02卷积神经网络基础

卷积层池化层全连接层激活函数(ReLU/Sigmoid)

03硬件描述语言基础 (Verilog)

模块化设计组合逻辑与时序逻辑状态机仿真与测试平台

04卷积算子硬件加速 (一)

行缓冲器(Line Buffer)滑动窗口生成乘加树(MAC Array)

05卷积算子硬件加速 (二)

多通道卷积数据复用策略输出部分和累加

06池化与激活函数加速

最大/平均池化ReLU硬件LUT实现Sigmoid

07全连接层加速

矩阵向量乘并行权重存储优化批处理支持

08数据流与流水线设计

乒乓缓冲任务级流水线写回策略与冲突解决

09量化与定点数运算

浮点转定点(INT8/16)Scale/Zero Point定点乘加器

10片上存储架构

SRAM分区与Bank冲突双/单端口RAM数据预取

11系统总线与DMA设计

AXI4-Stream协议DMA控制器Scatter-Gather传输

12指令集与控制器设计

微码指令格式状态机控制器指令译码与调度

13权重与激活值压缩

稀疏性利用(零值跳过)剪枝存储格式游程编码(RLE)硬件

14Winograd卷积加速

Winograd算法原理F(2x2,3x3)变换硬件变换单元

15可重构计算阵列

脉动阵列原理数据流方向阵列规模与权衡

16多核与异构计算

多加速器核同步任务划分与负载均衡CPU+加速器协同

17编译器与算子映射

TVM/TensorRT前端算子图优化代码生成与二进制

18性能建模与评估

Roofline模型吞吐量/延迟计算功耗估算

19验证与调试方法

形式化验证(断言)覆盖率驱动FPGA原型调试

20RTL设计与仿真实践

Verilator快速仿真波形分析(GTKWave)性能计数器

21综合与时序收敛

Design Compiler流程关键路径优化时钟树与门控

22布局布线与物理设计

Floorplan规划标准单元放置时钟/电源布线

23FPGA原型验证

Xilinx/Altera选型IP集成(MIG/DDR)ILA/ChipScope

24驱动与运行时库

Linux字符设备驱动mmap交互运行时API(OpenCL风格)

25端到端推理示例

ResNet-50部署YOLO检测部署性能对比(CPU/GPU/加速器)

26低功耗设计技术

时钟门控操作数隔离多电压域(DVFS)

27安全与容错设计

寄存器三模冗余(TMR)奇偶校验/ECC安全启动与信任根

存算一体(PIM)模拟计算光计算与量子计算展望

29开源项目分析

GemminiEyerissSystolic Array Generator

30课程总结与项目实战

最小可用卷积加速器RTL到驱动课程回顾与进阶路径