01
AI芯片软件栈全景
从AI算法到芯片硬件的全链路抽象，软件栈的分层架构与核心组件概览。
全景抽象
02
AI框架层（上）
PyTorch/TensorFlow等框架的执行流图构建机制，动态图与静态图的区别。
框架动态图
03
AI框架层（下）
自动微分原理与实现，算子注册与调度机制。
自动微分算子
04
中间表示层（IR）
计算图的中间表示形式，从Graph IR到Linear IR的演进。
IR计算图
05
前端编译器（上）
图优化技术，包括算子融合、常量折叠、死代码消除。
图优化算子融合
06
前端编译器（下）
量化与精度管理，训练后量化与量化感知训练。
量化精度
07
后端编译器（上）
算子选择与内存分配，Buffer规划与复用策略。
内存Buffer
08
后端编译器（下）
指令调度与流水线优化，VLIW与SIMD指令生成。
指令调度SIMD
09
运行时环境（Runtime）
算子加载与执行引擎，异构设备管理与任务分发。
Runtime异构
10
驱动层（Driver）
芯片寄存器配置与DMA传输，中断处理与同步机制。
驱动DMA
11
AI芯片硬件抽象层（HAL）
硬件能力抽象与统一接口设计，多芯片适配方案。
HAL适配
12
算子库（Kernel Library）
高性能算子实现，手写汇编与模板化开发。
算子库汇编
13
内存管理
片上存储层次（SRAM/DRAM），数据搬移与Double Buffer技术。
存储层次Double Buffer
14
计算单元调度
Tensor Core / SIMD单元的任务分配，Warp调度与Bank冲突。
Tensor CoreWarp
15
通信库（Collective Communication）
AllReduce、AllGather等集合通信原语实现。
集合通信AllReduce
16
模型部署工具链
ONNX导出与优化，TensorRT/TVM等部署框架集成。
部署ONNX
17
性能剖析与调优
Profiling工具使用，算子耗时分析与瓶颈定位。
Profiling调优
18
调试与验证
数值精度对比，Golden Data生成与回归测试。
调试回归测试
19
安全与隔离
多租户场景下的资源隔离，安全启动与可信执行环境。
安全隔离
20
工具链集成
CI/CD流水线中的编译与测试，版本管理与回滚策略。
CI/CD版本管理
21
边缘端部署
模型压缩（剪枝、蒸馏），轻量级Runtime设计。
边缘模型压缩
22
云端训练栈
分布式训练框架（Horovod/DeepSpeed），梯度同步与参数服务器。
分布式DeepSpeed
23
推理优化（上）
Batch推理与动态Batching，Continuous Batching技术。
推理Batching
24
推理优化（下）
KV Cache管理与PageAttention，Speculative Decoding。
KV CachePageAttention
25
稀疏计算支持
结构化稀疏与非结构化稀疏，硬件加速器设计考量。
稀疏加速器
26
自定义算子开发
Triton语言入门，CUDA Kernel编写与调优。
TritonCUDA
27
芯片模拟器与仿真
功能模拟与性能建模，Cycle Accurate模拟器。
模拟器Cycle Accurate
28
开放标准与生态
MLIR、OpenXLA、Triton等开源项目解析。
MLIROpenXLA
29
案例实战（一）
从PyTorch模型到芯片部署的全流程实操。
实战全流程
30
案例实战（二）
大模型（LLM）在AI芯片上的推理优化实战。
LLM推理优化