深度学习硬件选型·评估
30章 · 从入门到实战
01
深度学习硬件全景
CPU·GPU·TPU·NPU·FPGA
架构差异与适用场景
02
GPU核心参数详解
CUDA·Tensor Core
显存带宽·容量·频率·功耗
03
NVIDIA GPU产品线
GeForce·Quadro·Tesla
A100·H100·B200 定位选型
04
AMD & Intel AI加速
Instinct·Gaudi·Arc
现状与生态
05
TPU与云端AI芯片
TPU v4/v5e
AWS Trainium·Inferentia·Azure Maia
06
边缘端AI芯片
Jetson·Coral·Movidius
Rockchip NPU 实战
07
CPU在深度学习中的角色
数据预处理·部署
推理优化中的CPU选型
08
内存与存储系统
DDR5·HBM3·NVMe SSD
分布式存储对训练的影响
09
网络互联技术
NVLink·InfiniBand
RoCE v2·以太网选择
10
单卡训练硬件配置
主板·CPU·内存·GPU
电源·散热搭配原则
11
多卡训练硬件配置
4卡/8卡工作站
服务器硬件选型与拓扑
12
服务器级硬件选型
DGX·HGX
DGX Station·H100·A100方案
13
云GPU实例选型
AWS·Azure·GCP·阿里云
p4d·ND·A3·gn7i 对比
14
性能评估指标
TFLOPS·吞吐·延迟
功耗效率·性价比计算
15
基准测试工具
MLPerf·DeepBench
TensorFlow·PyTorch Benchmark
16
训练性能评估
ResNet·BERT·GPT·ViT
不同硬件训练吞吐对比
17
推理性能评估
批量·精度·延迟
FP32/FP16/INT8权衡
18
显存分析与优化
模型显存计算
梯度检查点·混合精度
19
功耗与散热管理
TDP·液冷·风冷
数据中心PUE
20
成本分析
采购·云实例·TCO
按需/预留实例模型
21
模型规模与硬件匹配
1B~1000B参数
硬件需求估算
22
数据并行与模型并行
分布式策略
互联带宽要求
23
流水线并行与张量并行
Megatron·DeepSpeed
硬件拓扑依赖
24
混合精度训练
FP16/BF16/FP8
硬件支持与收益
25
稀疏化与量化
INT4/INT8推理
硬件稀疏支持
26
大模型训练硬件实战
LLaMA-70B·GPT-3
硬件配置方案
27
大模型推理硬件实战
vLLM·TensorRT-LLM
部署硬件选型
28
多模态模型硬件需求
Stable Diffusion·CLIP
LLaVA GPU选型建议
29
未来硬件趋势
Chiplet·存算一体
光子计算·量子计算影响
30
综合选型决策框架
预算·规模·延迟
扩展需求制定方案