01
AI芯片与大模型概述
AI芯片发展简史 · 大模型技术演进 · 战略地位
基础宏观
02
大模型核心计算特征
Transformer架构 · Attention机制 · 算力需求
架构计算
03
AI芯片基础架构
冯·诺依曼/存算一体 · GPU/FPGA/ASIC/NPU · PE阵列
硬件分类
04
算力评估指标
TOPS/TFLOPS · 实际算力 vs 利用率 · 能效比
指标性能
05
存储与带宽评估
HBM/GDDR · 带宽计算 · 内存墙与解决方案
存储带宽
06
精度与量化评估
FP32/FP16/BF16/INT8 · 量化影响 · 混合精度
精度量化
07
互连与通信评估
NVLink/CCIX/CXL · Ring/AllReduce · 通信优化
互连集群
08
软件生态评估
CUDA vs ROCm · 框架适配 · 算子库/编译器
生态软件
09
推理性能评估
延迟/吞吐量 · Batch Size影响 · 算子融合/内存复用
推理优化
10
训练性能评估
训练吞吐量 · DP/PP/TP策略 · 稳定性与容错
训练分布式
11
能效与散热评估
TDP/功耗管理 · 液冷/风冷 · 绿色计算
能效散热
12
可靠性评估
软/硬错误 · ECC纠错 · 芯片寿命与老化
可靠性硬件
13
成本与TCO评估
采购/运营成本 · 电费/维护 · TCO模型
成本经济
14
评估方法论
基准测试设计 · 标准化流程 · 报告规范
方法流程
15
主流AI芯片产品分析
NVIDIA A100/H100/B200 · AMD MI · Google TPU
产品对比
16
国产AI芯片分析
华为昇腾 · 寒武纪 · 海光DCU · 百度昆仑
国产自主
17
大模型推理场景评估
LLM推理 · 多模态推理 · 实时/流式处理
推理场景
18
大模型训练场景评估
预训练 · 微调 · RLHF训练评估
训练场景
19
边缘AI芯片评估
边缘部署挑战 · 低功耗指标 · 端侧优化
边缘低功耗
20
云端AI芯片评估
数据中心部署 · 虚拟化/多租户 · 弹性扩展
云端数据中心
21
AI芯片性能基准测试
MLPerf详解 · 自定义测试 · 结果分析
基准MLPerf
22
算子级评估
GEMM · Attention · 卷积 · 归一化
算子微基准
23
模型级评估
GPT系列 · LLaMA系列 · Stable Diffusion
模型评估
24
应用级评估
智能客服 · 代码生成 · 图像生成
应用场景
25
AI芯片选型决策
需求分析矩阵 · 多维度评分 · 选型报告
选型决策
26
未来趋势与挑战
存算一体 · 光子芯片 · 量子计算影响
趋势前沿
27
AI芯片与大模型安全
数据安全 · 模型对抗 · 硬件安全
安全隐私
28
AI芯片标准化与生态建设
国际标准 · 开源生态 · 产业联盟
标准生态
29
AI芯片评估工具与平台
SMI/nvidia-smi · 自动化平台 · 数据可视化
工具平台
30
综合案例实战
推理场景选型全流程 · 报告撰写 · 优化建议
实战综合