AI加速器硬件架构与算法映射方法

📚 共计 30 章节

AI加速器概述

AI计算需求爆发 · 从CPU到GPU到NPU的演进 · 云端/边缘/端侧分类

神经网络基础回顾

卷积层 · 全连接层 · 池化层 · 激活函数 · 数据流与计算模式

CNN计算模式

硬件架构基础

数字电路基础 · 存储层次(SRAM/DRAM) · 片上互联(NoC/总线)

脉动阵列架构

经典Systolic Array · 数据流模式 · Google TPU案例分析

数据流优化

行固定(Row Stationary) · 数据复用分析 · Eyeriss架构详解

存储系统设计

片上存储层次 · 数据搬移优化 · Double Buffering · DMA设计

计算单元设计

MAC阵列 · 乘加器微架构 · 低精度(INT8/INT4) · 稀疏计算

低精度稀疏

控制通路设计

指令集(VLIW/SIMD) · 微码控制器 · Sequence Generator

片上互联设计

NoC拓扑(Mesh/Torus) · 路由算法 · 拥塞控制 · 多播

内存墙问题

冯诺依曼瓶颈 · 数据搬移能耗 · 近存计算(Near-Memory)

存算一体架构

Processing-in-Memory · 模拟/数字存算 · RRAM/STT-MRAM

稀疏计算加速

权重/激活稀疏 · 稀疏矩阵乘法 · Sparse CNN Accelerator

量化与压缩

模型量化 · PTQ · QAT · 硬件友好量化方案

剪枝与结构化稀疏

非结构化/结构化剪枝 · Filter/Channel Pruning · 硬件支持

剪枝结构化

编译器与硬件协同

TVM/XLA · 算子融合 · 内存规划 · 代码生成与后端

映射方法基础

计算任务到硬件映射 · Loop Tiling · Loop Unrolling

循环分块展开

映射空间搜索

DSE · 代价模型(Cost Model) · 基于ML的搜索方法

数据复用分析

输入特征图复用 · 权重复用 · 部分和复用 · 映射优化

复用数据流

Timeloop架构 · 映射空间定义 · 代价评估 · 案例分析

Accelergy框架

能耗建模 · 硬件组件建模 · 基于Accelergy的能耗分析

能耗Accelergy

多核架构设计

多核NPU拓扑 · 任务划分与调度 · 核间同步与通信

异构计算架构

CPU+GPU+NPU异构 · 异构内存管理 · 任务调度与负载均衡

异构负载均衡

Transformer加速

Attention计算模式 · Transformer Engine · KV Cache优化

大模型训练加速

分布式训练 · 模型/数据并行 · 流水线并行 · 3D并行

并行分布式

大模型推理加速

推理引擎 · Continuous Batching · PagedAttention · 量化推理

推理PagedAttention

可重构架构

CGRA · 动态重构 · 应用场景与挑战

光计算与新型计算范式

光学AI加速器 · 模拟计算 · 随机计算(Stochastic Computing)

光计算随机

硬件安全与可靠性

侧信道攻击 · 故障注入 · 容错设计 · 安全推理

性能评估与基准测试

MLPerf · 吞吐量/延迟/能效 · Roofline模型分析

未来趋势与挑战

3D堆叠 · 存算一体 · 光子计算 · 量子ML · AI for Chip