第1章
MoE架构概述
从传统Dense模型到MoE的演进 · 核心思想（条件计算）· 优势与挑战
基础演进
第2章
AI芯片基础回顾
GPU与TPU架构对比 · 关键指标（算力/带宽/延迟）· 片上互联与内存层次
芯片指标
第3章
MoE对AI芯片的独特需求
动态稀疏性 · 高通信开销 · 负载不均衡 · 专家容量与容量因子
需求稀疏
第4章
芯片对动态稀疏计算的支持
SpMM硬件加速 · 门控网络硬件实现 · Top-K路由硬件优化
稀疏路由
第5章
芯片对高通信带宽的支持
All-to-All硬件实现 · NVLink与InfiniBand · 片上网络(NoC)设计
通信带宽
第6章
芯片对负载均衡的支持
专家负载均衡器硬件 · 动态任务调度器 · 辅助损失硬件加速
均衡调度
第7章
专家并行(EP)的硬件映射
专家放置策略 · 张量并行+专家并行 · 流水线并行与MoE结合
并行映射
第8章
数据流架构与MoE
数据流驱动执行 · 空间架构优势 · 脉动阵列适配
数据流脉动
第9章
近存计算在MoE中的应用
HBM与专家权重存储 · 存内计算潜力 · 带宽墙缓解
近存HBM
第10章
稀疏注意力与MoE协同
稀疏注意力机制 · 硬件共享 · KV Cache管理
注意力KV
第11章
混合精度训练与MoE
FP8/FP16应用 · 专家精度管理 · 梯度累积硬件支持
精度训练
第12章
MoE推理硬件优化
专家预加载与缓存 · 动态专家激活 · 推理批处理策略
推理缓存
第13章
Google TPU对MoE的支持
TPU v4/v5 MoE优化 · ICI互连 · 稀疏核心设计
TPUGoogle
第14章
NVIDIA GPU对MoE的支持
Hopper Transformer Engine · NVLink Switch · 稀疏Tensor Core
NVIDIAHopper
第15章
AMD GPU与MoE
CDNA3 Infinity Fabric · ROCm软件栈 · 与NVIDIA对比
AMDCDNA
第16章
Cerebras WSE与MoE
晶圆级芯片MoE优势 · 稀疏计算适配 · 通信瓶颈消除
Cerebras晶圆
第17章
Graphcore IPU与MoE
IPU MIMD架构 · Poplar软件栈 · 细粒度并行
IPUGraphcore
第18章
SambaNova RDU与MoE
可重构数据流单元 · 数据流编译器 · 静态调度
RDU可重构
第19章
Groq LPU与MoE
确定性执行 · 张量流式架构 · 延迟优化
GroqLPU
第20章
华为昇腾与MoE
达芬奇Cube Unit · CANN软件栈 · 国产化方案
昇腾华为
第21章
寒武纪与MoE
MLU稀疏计算 · Bang C语言 · 端侧部署
寒武纪MLU
第22章
平头哥与MoE
含光800架构 · HALO软件栈 · 阿里云应用
平头哥含光
第23章
MoE芯片编译器优化
TVM算子融合 · XLA稀疏编译 · MLIR MoE Dialect
编译器TVM
第24章
MoE芯片运行时系统
动态图vs静态图 · 显存管理 · 专家热迁移
运行时显存
第25章
MoE芯片基准测试
标准Benchmark (T5-MoE) · 吞吐/延迟/能效 · 测试方法论
评测Benchmark
第26章
MoE芯片能效优化
稀疏能效优势 · DVFS策略 · 冷却方案
能效DVFS
第27章
MoE芯片可靠性设计
软错误防护 · 专家冗余 · 故障恢复机制
可靠性冗余
第28章
MoE芯片编程模型
CUDA-like MoE扩展 · 自定义算子 · Python/C++交互
编程算子
第29章
MoE芯片未来趋势
3D堆叠 · 光子计算 · 量子计算初步探索
未来3D
第30章
综合案例：设计MoE AI芯片
需求分析 · 架构设计 · 性能评估 · 总结展望
案例设计