AI芯片性能建模与评估方法

📚 共计 30 章节

AI芯片性能建模概述

性能建模的定义与目标 · AI芯片性能评估的挑战 · 建模方法论分类

分析模型模拟模型经验模型

AI芯片架构基础

计算单元 · 存储层次 · 数据流

MACSIMDVectorSRAMHBM

性能指标定义

吞吐量 · 延迟 · 能效比 · 利用率 · 带宽效率

TOPSLatencyTOPS/W

Roofline原理 · 计算/存储边界 · Arithmetic Intensity · AI芯片实例

计算边界存储边界

计算单元建模

MAC阵列吞吐量 · SIMD并行度 · Vector延迟建模

MAC阵列SIMDVector

存储层次建模

SRAM/HBM/DDR带宽与延迟 · 存储墙问题

SRAMHBMDDR存储墙

数据流建模

Weight Stationary · Input Stationary · Output Stationary

卷积层性能建模

卷积计算量(FLOPs) · 映射 · 延迟与吞吐量建模

全连接层性能建模

全连接计算量 · 映射 · 延迟与吞吐量建模

Transformer层性能建模

Self-Attention · FFN计算量 · 映射与性能建模

批处理(Batch)性能建模

Batch Size对吞吐量/延迟影响 · 最优Batch Size

Batch吞吐量延迟

算子融合性能建模

算子融合原理 · 融合对计算/存储影响 · 性能建模

算子融合优化

量化对性能的影响

INT8/INT4计算量 · 存储带宽影响 · 量化性能建模

稀疏性性能建模

稀疏矩阵计算 · 利用率/带宽影响 · 稀疏建模

稀疏利用率

内存带宽瓶颈建模

带宽利用率模型 · 瓶颈识别 · 缓解策略

带宽瓶颈利用率

计算瓶颈建模

计算单元利用率 · 瓶颈识别 · 缓解策略

计算瓶颈利用率

通信瓶颈建模(多芯片)

芯片间带宽 · 通信延迟 · 通信计算重叠

多芯片通信

模拟器建模方法

Cycle级模拟 · Trace级模拟 · 精度与速度权衡

分析模型建模方法

公式延迟/吞吐量模型 · 优缺点

分析模型公式

经验模型建模方法

回归/机器学习预测 · 优缺点

回归机器学习

性能评估基准

MLPerf · AI Benchmark · 自定义基准

性能评估工具

Timeloop · Accelergy · SCALE-Sim

TimeloopAccelergy

性能建模案例分析(GPU)

NVIDIA Turing/Ampere 架构建模实例

GPUTuringAmpere

性能建模案例分析(TPU)

Google TPU架构性能建模实例

性能建模案例分析(NPU)

华为昇腾 · 寒武纪NPU架构建模实例

昇腾寒武纪

性能建模案例分析(FPGA)

基于FPGA的AI加速器性能建模实例

性能建模验证方法

建模与实测对比 · 误差分析 · 模型校准

性能建模自动化框架

自动化工具 · 参数化建模 · 报告生成

自动化框架

AI芯片性能优化策略

基于模型优化 · 计算存储平衡 · 数据流优化

未来趋势与挑战

存算一体 · 光计算 · 量子计算芯片建模展望

存算一体光计算量子