🧠 AI芯片算子库开发实战精讲
📘 从入门到实战 · 30章完整目录
⚡ 友好色系
v2.0
01
AI芯片与算子库概述
AI芯片发展简史
主流架构对比
算子库角色
02
开发环境搭建
Linux环境
CUDA Toolkit
Triton编译器
Docker镜像
03
GPU编程基础 (CUDA)
编程模型
线程层次
内存层次
第一个Kernel
04
GPU编程进阶 (CUDA)
Bank Conflict
Warp Divergence
原子操作
Occupancy
05
Triton编程入门
DSL语法
与CUDA对比
Kernel流程
编译器原理
06
矩阵乘法算子 (GEMM)
Naive GEMM
Shared Tiling
Bank Conflict消除
Triton实现
07
卷积算子 (Conv2D)
Im2Col+GEMM
Winograd
Direct优化
Triton实现
08
激活函数算子
ReLU变体
Sigmoid/Tanh
Softmax稳定性
Triton融合
09
归一化算子
Batch Norm
Layer Norm
Instance Norm
Triton实现
10
池化算子
Max Pooling
Average Pooling
Global Pooling
Triton高效实现
11
Reduce算子
Sum/Mean/Max/Min
Tree Reduction
Warp Shuffle
Triton实现
12
Scan算子 (Prefix Sum)
Hillis-Steele
Blelloch算法
Warp级Scan
Triton实现
13
Attention算子 (MHA)
Scaled Dot-Product
FlashAttention原理
Memory-bound优化
Triton实现
14
Embedding算子
Embedding Lookup
Gather优化
Fused Embed+Linear
Triton实现
15
ElementWise算子融合
Fuse Pass原理
Kernel Fusion策略
Horizontal/Vertical
Triton实现
16
Layout转换算子
NCHW vs NHWC
Transpose优化
Tensor Core Layout
Triton实现
17
量化算子 (INT8/FP8)
对称/非对称量化
Calibration
INT8 GEMM
FP8 E4M3/E5M2
18
稀疏算子
结构化稀疏2:4
Sparse GEMM
Sparse Attention
Triton实现
19
算子性能Profiling
Nsight Systems
Nsight Compute
Roofline Model
瓶颈定位
20
算子自动调优
Auto-Tuning框架
搜索空间
Cost Model
OpenTuner/Ansor
21
算子测试与验证
数值精度测试
性能回归
正确性验证
CI/CD集成
22
算子库架构设计
模块化设计
接口抽象C++/Python
多后端支持
代码生成
23
Python前端封装
PyTorch Extension
ONNX Runtime Op
Python C Extension
Pybind11
24
C++核心实现
Template Metaprogram
Policy-based Design
JIT (NVRTC)
CUDA Graph
25
多线程与异步执行
CUDA Stream/Event
MPS
MIG
异步Pipeline
26
内存管理与优化
Memory Pool
Page-Locked
Unified Memory
Defragmentation
27
算子库文档与示例
Doxygen
Sphinx文档
Jupyter Notebook
Benchmark报告
28
算子库发布与部署
Python Wheel
Conda Package
Docker镜像
语义化版本
29
前沿算子与趋势
FlashAttention-2/3
MLA
MoE算子
FP8训练推理
30
综合实战项目
Mini算子库
GEMM/Conv/Attention
性能对标cuBLAS
完整测试文档