01
芯片概述
什么是训练芯片？什么是推理芯片？两者在AI产业链中的定位与分工。
定位产业链
02
核心架构差异
训练芯片的并行计算架构（Tensor Core、SIMT）与推理芯片的专用加速架构（脉动阵列、稀疏计算）。
Tensor Core脉动阵列
03
精度与数据格式
训练为何需要FP32/BF16？推理为何可以接受INT8/INT4？混合精度训练的原理。
FP32INT8混合精度
04
内存与带宽
训练芯片的高带宽HBM需求 vs 推理芯片的LPDDR/片上SRAM策略。
HBMLPDDRSRAM
05
计算单元对比
训练芯片的CUDA Core/Tensor Core vs 推理芯片的NPU/TPU核心设计。
CUDANPUTPU
06
软件生态差异
训练依赖CUDA/PyTorch框架，推理依赖TensorRT/ONNX Runtime等优化引擎。
PyTorchTensorRT
07
功耗与散热
训练芯片的300W-700W功耗墙 vs 推理芯片的边缘侧低功耗设计（5W-75W）。
功耗墙边缘
08
典型产品对比
NVIDIA A100/H100（训练） vs NVIDIA T4/Orin（推理） vs Google TPU（两者兼顾）。
A100H100TPU
09
互连与通信
训练集群的NVLink/InfiniBand高速互连 vs 推理芯片的PCIe/以太网连接。
NVLinkInfiniBand
10
批量处理能力
训练的大Batch Size策略 vs 推理的低延迟单样本处理需求。
Batch低延迟
11
稀疏化与剪枝
训练芯片对稀疏计算的支持有限，推理芯片如何利用权重稀疏性加速。
剪枝稀疏
12
量化技术
训练感知量化（QAT） vs 训练后量化（PTQ），推理芯片如何利用量化加速。
QATPTQ
13
编译与优化
训练芯片的JIT编译（TorchScript） vs 推理芯片的静态图优化（TensorRT）。
JIT静态图
14
存储层次设计
训练芯片的L1/L2缓存与HBM层次 vs 推理芯片的紧耦合SRAM设计。
缓存SRAM
15
流水线设计
训练芯片的同步流水线 vs 推理芯片的异步流水线与动态批处理。
流水线动态批处理
16
可靠性要求
训练芯片的ECC纠错 vs 推理芯片的容错设计（低精度下可忽略部分错误）。
ECC容错
17
成本与市场定位
训练芯片的高昂成本（$10000+） vs 推理芯片的性价比导向（$100-$5000）。
成本性价比
18
边缘推理芯片
手机SoC中的AI引擎（Apple Neural Engine、高通Hexagon）与端侧部署。
ANEHexagon
19
数据中心推理
阿里含光800、华为昇腾310等国产推理芯片的架构特点。
含光800昇腾310
20
训练芯片的演进
从GPU通用计算到专用AI加速器（Cerebras Wafer Scale、Graphcore IPU）。
CerebrasIPU
21
推理芯片的演进
从FPGA到ASIC，从云端到边缘的迁移趋势。
FPGAASIC
22
内存带宽瓶颈
训练芯片的HBM2e/HBM3带宽 vs 推理芯片的带宽利用率优化。
HBM2e带宽
23
计算精度权衡
训练芯片的混合精度训练（AMP） vs 推理芯片的极致低精度（INT4/FP8）。
AMPINT4
24
模型结构适配
Transformer架构对训练和推理芯片的不同挑战（Attention计算 vs 矩阵乘法）。
TransformerAttention
25
多模态模型
训练芯片处理文本/图像/视频的多模态数据流 vs 推理芯片的实时多模态处理。
多模态实时
26
芯片面积与良率
训练芯片的大面积（800mm²+） vs 推理芯片的小面积（100-300mm²）设计权衡。
面积良率
27
虚拟化与多租户
训练芯片的MIG（多实例GPU） vs 推理芯片的容器化部署。
MIG容器
28
未来趋势
存算一体芯片、光子芯片对训练和推理的潜在影响。
存算一体光子
29
选型指南
如何根据业务场景选择训练芯片和推理芯片（成本、性能、功耗三角权衡）。
选型三角权衡
30
实战案例分析
从零搭建一个AI训练+推理的完整硬件方案（含预算估算）。
实战预算