🧠 NPU 内存子系统优化策略
实战课程 · 30 章
📚
30 个模块
⚡
从架构到前沿
🎯
友好色系
📁 点击卡片跳转章节
01
NPU内存架构概述
NPU与CPU内存子系统差异 · 层次结构 L1/L2/DRAM · 带宽与延迟权衡
02
数据本地化策略
数据复用原理 · Tiling详解 · 数据分块与搬移策略
03
DMA引擎优化
1D/2D/3D传输模式 · 描述符链 · 与计算单元重叠执行
04
缓存一致性管理
NPU缓存一致性协议 · Cache Line优化 · Write-Through vs Write-Back
05
内存带宽优化
DDR带宽利用率 · Bank Group与Channel映射 · 数据预取
06
张量内存布局优化
NHWC vs NCHW · 数据对齐与Padding · Stride优化
07
片上SRAM管理
SRAM分区策略 · 双缓冲机制 · Scratchpad Memory技巧
08
内存压缩技术
无损/有损压缩 · AI推理应用 · 压缩率与带宽收益
09
虚拟内存与地址映射
IOMMU/SMMU配置 · 页表优化 · 大页技术
10
多NPU核间内存共享
共享内存池 · 核间同步原语 · 数据分发与收集
11
内存访问模式分析
空间/时间局部性优化 · Stride访问模式处理
12
量化对内存的影响
INT8/INT4内存占用 · 量化感知分配 · 混合精度管理
13
算子级内存优化
Conv2d/MatMul优化 · Element-wise内存复用
14
图编译阶段内存规划
生命周期分析 · 内存复用 · 静态分配算法
15
动态形状处理
动态Shape分配策略 · 内存池化 · 碎片整理
16
带宽瓶颈识别
Roofline模型 · Profiling工具 · 性能计数器
17
内存墙问题分析
冯诺依曼瓶颈 · 近存计算技术
18
HBM与GDDR选型
HBM2E/HBM3对比 · GDDR6/GDDR6X · 带宽与功耗
19
内存控制器配置
时序参数调优 · Command Rate · Refresh周期
20
NUMA架构优化
NPU与CPU NUMA亲和性 · 跨节点访问 · 内存绑定
21
内存错误处理
ECC纠错 · 故障预测 · 优雅降级
22
低功耗内存模式
自刷新/深度睡眠 · DVFS动态调频
23
内存一致性模型
弱一致性 · Fence指令优化 · 内存屏障开销
24
流式内存访问优化
Stream Buffer · 预取距离调优 · 硬件预取器
25
内存安全与隔离
多租户隔离 · 安全内存区域 · TrustZone应用
26
编译器内存优化
自动Tiling · 循环分块重排 · 层级感知调度
27
运行时内存管理
Buddy/Slab分配器 · 回收策略 · OOM处理
28
模型压缩与内存
剪枝布局 · 知识蒸馏收益 · 稀疏矩阵存储
29
异构内存系统
CPU+NPU统一地址 · 内存迁移 · Page Fault优化
30
未来趋势与前沿
存内计算(PIM) · CXL内存扩展 · 光互连技术