📐 动态形状 · 推理优化
30 章 · 从入门到实战
🧩 友好色系
01
动态形状问题概述
什么是动态形状 · 推理优化难点 · 常见场景
02
动态形状与静态形状对比
静态优势与局限 · 动态灵活性 · 何时选择
03
动态形状的底层原理
Tensor内存布局 · 动态分配 · CPU/GPU差异
04
动态形状对算子性能的影响
访存模式变化 · 计算效率 · 算子融合失效
05
动态形状与编译器优化
TVM/XLA处理 · 动态shape编译策略
06
动态形状与图优化
动态图vs静态图 · JIT编译 · 图捕获技术
07
动态形状与内存管理
内存碎片化 · 分配器策略 · 内存池化
08
动态形状与Batch推理
动态Batch处理 · Padding策略 · 权衡
09
动态形状与序列长度
NLP变长序列 · Attention Mask · 动态优化
10
动态形状与图像尺寸
多尺度输入 · Resize策略 · 动态分辨率
11
动态形状与模型部署
ONNX动态轴 · TensorRT · OpenVINO
12
动态形状与量化
量化校准 · 动态范围调整 · 误差控制
13
动态形状与算子融合
融合挑战 · 条件融合 · 运行时融合
14
动态形状与Kernel Launch
启动开销 · Launch优化 · CUDA Graph
15
动态形状与数据预处理
数据加载 · 动态Padding · 流水线优化
16
动态形状与推理框架
TensorRT · ONNX Runtime · Triton
17
动态形状与模型设计
可变形卷积 · 动态滤波器 · 自适应计算图
18
动态形状与注意力机制
动态稀疏注意力 · 可变长 · FlashAttention
19
动态形状与Transformer
Decoder动态序列 · KV Cache · 动态长度
20
动态形状与图神经网络
动态图结构 · 变长邻居 · GNN优化
21
动态形状与强化学习
动态状态空间 · 变长动作 · 策略网络
22
动态形状与多模态模型
文本图像对齐 · 变长输入 · 动态融合
23
动态形状与分布式推理
模型并行 · 动态负载均衡 · 流水线
24
动态形状与边缘设备
资源受限 · 动态精度 · 模型选择
25
动态形状与自动调优
AutoTVM · 动态搜索空间 · 运行时调优
26
动态形状与Profiling
性能分析工具 · 瓶颈定位 · 数据解读
27
动态形状与调试
错误排查 · 日志记录 · 调试技巧
28
动态形状与安全
内存安全 · 边界检查 · 攻击与防御
29
动态形状的未来趋势
硬件支持 · 编译器进展 · 标准化
30
动态形状实战案例
构建推理系统 · 性能对比 · 最佳实践