第1章
AI芯片的宏观定位
从通用计算到专用计算的演进 · AI芯片在AI产业链中的位置 · AI芯片软件栈的总体概览
定位演进概览
第2章
AI芯片硬件架构基础
GPU/FPGA/ASIC架构差异 · 算力与带宽权衡 · 存算一体架构简介
GPUFPGA存算一体
第3章
AI芯片软件栈全景
从模型到硬件的全链路 · 编译器/运行时/驱动/库函数层级关系
软件栈全链路
第4章
模型训练框架与芯片适配
PyTorch/TensorFlow底层算子对接 · XLA/Dynamo编译优化 · 混合精度训练
训练XLA混合精度
第5章
模型推理引擎与部署
ONNX中间表示 · TensorRT/OpenVINO/Triton架构 · 动态形状与批处理优化
推理TensorRTONNX
第6章
AI编译器核心原理（上）
计算图优化 · 算子融合 · 常量折叠 · 死代码消除 · 自动微分
编译器图优化自动微分
第7章
AI编译器核心原理（下）
内存规划与复用 · 算子调度与并行策略 · TVM与MLIR架构对比
内存TVMMLIR
第8章
高性能算子库
cuDNN/cuBLAS演进 · OneDNN/MIOpen开源实现 · 手写汇编算子与微内核
cuDNN微内核高性能
第9章
AI芯片驱动与内核态
KMD与UMD分工 · IOMMU/DMA管理 · 中断处理与任务提交
驱动内核DMA
第10章
AI芯片运行时系统
任务调度器 · 内存池管理 · Stream与Event异步并发模型
运行时调度异步
第11章
AI芯片编程模型
CUDA编程模型回顾 · OpenCL/SYCL跨平台 · 自定义DSL设计
CUDASYCLDSL
第12章
模型量化与压缩技术
PTQ与QAT · INT8/INT4/FP8硬件支持 · 剪枝与蒸馏工具链
量化INT8剪枝
第13章
稀疏计算与硬件加速
结构化/非结构化稀疏 · 稀疏张量核心编程 · cuSPARSE库
稀疏Tensor CorecuSPARSE
第14章
内存墙与数据搬运优化
DMA与双缓冲 · 数据预取与软件流水 · Magnum IO / HCCS互联
内存墙DMA互联
第15章
多芯片互联与通信库
NCCL/RCCL集合通信 · AllReduce拓扑优化 · NVLink/CCIX/CXL
NCCL互联NVLink
第16章
AI芯片的虚拟化与隔离
MIG/vGPU技术 · Kubernetes+Device Plugin · QoS与资源隔离
虚拟化MIGK8s
第17章
AI芯片的调试与性能分析
Nsight Systems/Perf · 性能瓶颈定位 · Roofline模型应用
ProfilingRooflineNsight
第18章
AI芯片的功耗与热管理
DVFS · 功耗感知调度 · TDP与散热设计软件接口
功耗DVFS散热
第19章
AI芯片的安全与可信计算
TEE在AI推理中的应用 · 模型加密与安全加载 · 侧信道防御
安全TEE加密
第20章
边缘AI芯片的软件栈
TFLite Micro/ONNX Runtime Mobile · 模型压缩 · CMSIS-NN
边缘TFLiteCMSIS-NN
第21章
自动驾驶AI芯片的软件栈
车规级软件要求 · 传感器融合与部署 · ISO 26262影响
自动驾驶车规功能安全
第22章
数据中心AI芯片的软件栈
Slurm/Volcano调度 · 模型并行与数据并行 · 弹性训练与容错
数据中心并行容错
第23章
AI芯片的基准测试与选型
MLPerf解读 · TCO分析 · 不同场景芯片选型建议
MLPerfTCO选型
第24章
开源AI芯片软件生态
OpenAI Triton语言 · MLIR/CIRCT · RISC-V+AI加速器软件栈
开源TritonRISC-V
第25章
AI芯片软件栈的标准化
ONNX标准 · OpenXLA社区 · PyTorch ExecuTorch标准化
标准化ONNXOpenXLA
第26章
AI芯片与HPC的融合
CUDA+MPI混合编程 · GPU加速数值计算 · AI for Science软件栈
HPCMPIAI4S
第27章
AI芯片软件栈的测试与验证
算子正确性测试 · 压力与稳定性测试 · 回归测试与CI/CD
测试CI/CD验证
第28章
AI芯片软件栈的演进趋势
Chiplet架构挑战 · 存算一体软件模型 · 光计算软件接口
Chiplet存算一体光计算
第29章
AI芯片软件栈的实战案例
从训练到部署全流程 · 性能调优完整案例 · 常见踩坑与解决方案
实战调优踩坑
第30章
AI芯片软件栈的未来展望
AGI对软件栈的终极要求 · 软件定义芯片 · 编译器与硬件协同设计
未来AGI协同设计