大模型芯片存储方案设计

📚 共计 30 章节

存储墙与AI芯片

大模型对存储系统的挑战、冯诺依曼瓶颈、存储墙概念、AI芯片存储层次概览

存储墙AI芯片

SRAM原理与设计

6T SRAM单元结构、读写操作原理、SRAM阵列组织、SRAM时序参数

DRAM原理与设计

1T1C DRAM单元、刷新机制、Bank与Rank结构、DDR接口协议

HBM高带宽存储器

HBM架构演进、TSV与微凸点技术、HBM2E/HBM3规格对比、PHY层设计要点

近存计算架构

近存计算动机、逻辑层集成方案、混合键合技术、近存计算典型芯片分析

近存计算混合键合

存内计算原理

模拟存内计算、数字存内计算、存内计算宏单元设计、ADC/DAC精度权衡

存内计算ADC/DAC

非易失性存储器

RRAM原理、MRAM原理、PCM原理、NVM在AI芯片中的应用

存储一致性

缓存一致性协议、MESI协议、目录式一致性、一致性流量优化

虚拟存储系统

页表与TLB、多级页表、大页技术、TLB预取策略

DMA与数据搬运

DMA控制器架构、描述符链、Scatter-Gather、2D DMA传输

DMAScatter-Gather

存储调度器

请求调度算法、FR-FCFS策略、行缓冲管理、QoS保证机制

片上网络NoC

NoC拓扑结构、路由算法、流控机制、NoC在AI芯片中的应用

NoC片上网络

存储分区与bank管理

地址映射策略、bank级并行、分区冲突避免、动态bank管理

Bank管理分区

数据复用与局部性

时间局部性利用、空间局部性利用、数据流优化、tiling技术

局部性tiling

权重复用策略

权重固定数据流、输出固定数据流、行固定数据流、数据流选择依据

数据流权重复用

稀疏性感知存储

稀疏矩阵存储格式、零值跳过逻辑、稀疏加速器存储设计、负载均衡

稀疏零值跳过

量化感知存储

低精度存储格式、混合精度存储、量化误差补偿、存储位宽动态调整

量化混合精度

存储带宽优化

突发传输、预取技术、多通道并行、带宽利用率计算

存储功耗优化

低功耗SRAM技术、电源门控、DVFS、数据编码降功耗

存储可靠性

ECC纠错码、Chipkill技术、RAS特性、软错误防护

测试与可测性设计

MBIST技术、边界扫描、修复与冗余、ATPG基础

存储控制器设计

控制器架构、命令调度、时序管理、错误处理流程

控制器时序

CXL与互联协议

CXL协议栈、内存池化、一致性扩展、CXL在AI系统中的应用

CXL内存池化

计算存储融合

SSD内计算、智能存储、存储级内存SCM、融合架构趋势

SCM智能存储

3D NAND技术、3D DRAM、混合键合堆叠、热管理挑战

3D堆叠混合键合

光互连存储

硅光技术、光互联优势、片上光网络、光存储前景

硅光光互连

存算一体芯片

模拟存算一体架构、数字存算一体架构、代表性芯片分析、精度与能效权衡

存算一体能效

大模型训练存储方案

训练数据流水线、checkpoint策略、分布式训练存储、梯度压缩存储

训练checkpoint

大模型推理存储方案

KV cache管理、推理内存优化、模型并行存储、推理延迟优化

未来存储技术展望

新型存储器件、量子存储、生物存储、存储系统发展趋势

未来量子存储