📘 算子优化·模型部署
30 讲 · 从原理到实战
🧩 友好色系
暖橙·奶霜·晴蓝
01
算子优化概述
核心概念
加速·显存·精度
02
计算图优化基础
静态图 vs 动态图
常量折叠·算子融合
03
算子融合技术 (上)
Conv+BN融合
Conv+ReLU
代码实战
04
算子融合技术 (下)
MHA融合
LayerNorm
QKV融合
05
内存布局优化
NCHW vs NHWC
内存对齐
数据排布
06
量化技术入门
FP32 vs INT8
对称/非对称
QAT
07
量化实战
PTQ步骤
QAT配置
校准数据集
08
剪枝技术
结构化/非结构化
通道剪枝
稀疏加速
09
知识蒸馏
教师-学生
蒸馏损失
温度调优
10
算子内核优化
手写CUDA
向量化加载
共享内存
11
TensorRT优化 (上)
工作流程
ONNX导出
动态shape
12
TensorRT优化 (下)
INT8校准
多流推理
DLA加速
13
ONNX Runtime优化
架构·EP
图优化选项
14
OpenVINO优化
模型转换
CPU/GPU
精度验证
15
TFLite与NNAPI
TFLite量化
Delegate
NNAPI加速
16
算子调度策略
算子选择
AutoTVM
成本模型
17
内存复用技术
内存池
张量生命周期
显存碎片
18
异步推理与流水线
异步API
多线程
流水线并行
19
Batch推理优化
动态Batch
最优Batch搜索
Padding
20
稀疏化推理
CSR/CSC
稀疏卷积
硬件稀疏
21
Winograd卷积优化
Winograd原理
F(2,3)
性能对比
22
FFT卷积优化
FFT原理
频域加速
适用场景
23
低精度推理
FP16/BF16
混合精度
精度损失
24
算子库选择
cuDNN vs MIOpen
oneDNN
自定义算子
25
模型压缩综合
量化+剪枝+蒸馏
压缩比权衡
工业实践
26
边缘端优化
模型大小
内存限制
电池功耗
27
服务端优化
吞吐量
延迟优化
GPU利用率
28
性能分析工具
Nsight Systems
PyTorch Profiler
ORT Profiling
29
算子优化前沿
JIT编译
GNN算子
Transformer新趋势
30
综合实战项目
PyTorch → TensorRT
全流程优化
性能报告