01
AI芯片内存系统概述
算力瓶颈与存储墙 · 层次结构 L1/L2/LLC/HBM · 吞吐量/延迟/功耗
存储墙带宽指标
02
HBM（高带宽存储器）原理
堆叠架构与TSV · HBM2E→HBM3 · 带宽计算与功耗模型
TSVHBM3
03
DDR与GDDR对比
DDR5 vs GDDR6 vs HBM · PAM4信号 · 选型策略
GDDR6X成本权衡
04
片上SRAM设计
存储单元与读写 · 多端口SRAM · 电压缩放/时钟门控
低功耗寄存器文件
05
Cache一致性协议
MESI/MOESI · 多核一致性挑战 · 目录vs嗅探
一致性MOESI
06
内存控制器设计
FR-FCFS/PAR-BS · 请求合并与预取 · QoS带宽分配
调度预取
07
带宽优化之数据复用
权重/输入/输出固定 · Tiling · 寄存器缓存与局部性
数据复用Tiling
08
带宽优化之压缩技术
剪枝量化 · 稀疏感知 · LZ4/ZSTD在AI芯片应用
权重压缩无损
09
带宽优化之预取技术
硬件预取器 · 软件prefetch · AI自适应预取
流预取步长
10
带宽优化之访存调度
MLP优化 · 写合并与写缓冲 · 读写冲突避免
MLP写缓冲
11
近存计算 (Near-Memory)
Logic-on-DRAM · 处理单元靠近内存 · 带宽与散热
近存逻辑层
12
存内计算 (In-Memory)
模拟Crossbar · 数字存内计算 · 精度与噪声
IMCCrossbar
13
3D堆叠与硅通孔(TSV)
3D IC优势 · TSV RC模型 · 热管理挑战
3D堆叠TSV
14
光互连与新型互连
硅光子 · 带宽密度/能效 · CXL内存扩展
光互连CXL
15
内存虚拟化与池化
CXL内存池化 · 地址转换 · 多租户带宽隔离
池化虚拟化
16
AI芯片的NoC设计
Mesh/Torus · XY路由 · 带宽分配与死锁避免
NoC路由
17
带宽建模与仿真
Roofline模型 · Gem5/DRAMSim2 · 瓶颈分析工具
Roofline仿真
18
稀疏计算与带宽优化
CSR/CSC · 稀疏张量核心 · 稀疏感知调度
稀疏CSR
19
混合精度训练的内存优化
FP16/BF16/INT8收益 · 内存布局 · 梯度累积
混合精度梯度累积
20
分布式训练的内存与带宽
数据/模型并行 · All-Reduce(Ring/Tree) · 梯度压缩
All-Reduce通信重叠
21
功耗与带宽权衡
DVFS影响 · 功耗感知调度 · 暗硅与带宽墙
DVFS暗硅
22
内存安全与可靠性
ECC纠错 · RAS特性 · 故障预测与容错
ECCRAS
23
AI芯片软件栈与内存管理
CUDA/ROCm API · UVM · 内存池与分配器
UVM内存池
24
算子级内存优化
矩阵乘法Tiling/Pack · Im2Col/Winograd · 算子融合
算子融合Winograd
25
编译器与内存优化
TVM/MLIR内存规划 · 自动Tiling · 编译时预取
TVMMLIR
26
AI芯片异构内存系统
HBM+DRAM+NVM · 热/冷数据放置 · 带宽调度
异构NVM
27
带宽优化的前沿技术
CXL 3.0 · 内存语义SSD · SmartSSD
CXLSmartSSD
28
AI芯片测试与验证
STREAM/MLPerf · Profiling工具 · 带宽调试案例
基准测试Profiling
29
案例研究：GPU/TPU内存
NVIDIA A100/H100 · Google TPU · AMD CDNA
A100TPU
30
未来趋势：存算一体与路线图
存算一体芯片 · 量子启示 · 十年路线图
存算一体路线图