01
推理引擎概述
什么是推理引擎 · 与训练框架的区别 · TensorRT / ONNX Runtime / OpenVINO
基础概念
02
计算图基础
计算图概念 · 静态图与动态图 · 拓扑排序与执行
核心图
03
算子融合原理
融合动机 · 数学基础 · Conv+BN / Conv+ReLU / MatMul+Add
融合模式
04
水平融合与垂直融合
同类型合并 · 流水线合并 · 策略选择
策略流水线
05
融合规则引擎设计
模式匹配 · 代价模型 · 优先级与冲突解决
规则引擎
06
常量折叠与表达式简化
常量传播 · 死代码消除 · 代数化简
优化编译
07
内存层次结构
寄存器 · Cache · HBM/GDDR · NUMA影响
硬件架构
08
内存分配策略
静态/动态分配 · 内存池设计
分配池化
09
张量生命周期管理
引用计数 · 借用检查 · 所有权转移
RustC++
10
内存复用技术
In-place操作 · 别名分析 · 共享缓冲区
复用零拷贝
11
显存优化
碎片化 · 显存池 · FP16/INT8压缩
显存量化
12
算子调度与执行
单线程/多线程调度 · 任务图执行
调度并行
13
异步执行与流水线
异步推理 · 双缓冲 · 多流执行
异步流水线
14
图优化Pass框架
Pass注册/执行 · 依赖管理 · 调试验证
Pass框架
15
子图分割与异构计算
CPU/GPU/NPU划分 · 数据传输优化
异构分割
16
动态形状支持
动态Batch/序列 · Padding与Mask优化
动态形状
17
量化推理
INT8/INT4 · QAT · PTQ算子融合
量化压缩
18
稀疏化推理
结构化/非结构化稀疏 · 稀疏矩阵乘法
稀疏加速
19
Attention机制优化
Flash Attention · PageAttention · KV Cache
AttentionLLM
20
Transformer推理优化
Layer Fusion · GELU融合 · Softmax优化
Transformer融合
21
卷积算子优化
Im2Col+GEMM · Winograd · FFT · 直接卷积
卷积算法
22
内存带宽优化
NHWC vs NCHW · 向量化加载 · 预取
带宽布局
23
算子内核自动调优
Auto-tuning框架 · 代价模型 · 搜索空间
自动调优搜索
24
JIT编译与代码生成
TVM Ansor · XLA · MLIR Linalg
JIT编译
25
多模型并发推理
模型实例化 · 共享权重 · 请求调度
并发调度
26
推理引擎Profiling工具
NVIDIA Nsight · Intel VTune · 自定义Trace
性能分析
27
内存泄漏检测与调试
AddressSanitizer · Valgrind · 自定义Hook
调试内存
28
边缘设备推理优化
模型裁剪 · 内存受限算子 · Flash存储优化
边缘轻量
29
分布式推理
模型并行 · 张量并行 · 流水线并行
分布式并行
30
推理引擎的未来趋势
Chiplet · 存算一体 · 神经形态计算
前沿架构