2、动态形状与静态形状对比：静态形状的优势与局限、动态形状的灵活性、何时选择动态形状
好，咱们直接切入正题。动态形状和静态形状，这俩概念在模型推理里就像「固定菜单」和「自助餐」的区别。我刚开始接触推理优化时，总觉得静态形状是正统，动态形状是邪道。后来被现实狠狠教育了几次，才明白——没有银弹，只有合适的场景。
静态形状：稳定但僵硬
静态形状，说白了就是你的模型输入尺寸是固定的。比如你训练了一个224x224的图像分类模型，那推理时每张图都得先缩放到224x224。这在很多框架里是默认行为，也是性能最可控的方式。
静态形状的核心优势：
- 极致优化空间：编译器可以针对固定尺寸做死循环展开、内存预分配、算子融合。我见过一个项目，静态形状下推理速度比动态形状快了将近40%。
- 内存可预测：每个中间张量的大小都是确定的，显存占用是固定的。部署时你算好峰值，基本不会OOM。
- 算子缓存友好：CUDA kernel的启动参数是固定的，GPU可以充分利用缓存。说白了，硬件最喜欢「重复做同样的事」。
但静态形状的局限也很明显。你想想看，如果输入是自然场景的图片，有的1920x1080，有的640x480，强行缩放到224x224会丢失多少信息？我在做OCR项目时就踩过这个坑——把长文本图片硬缩成正方形，结果识别率直接掉了15个点。
我曾经踩过的坑： 有个客户要求模型同时处理手机截图和扫描文档。我图省事全缩放到512x512，结果手机截图里的文字被压成了马赛克。后来改成动态形状，问题才解决。
动态形状：灵活但有代价
动态形状允许输入尺寸在推理时变化。比如NLP模型可以处理不同长度的句子，检测模型可以接受任意分辨率的图片。灵活性是它的最大卖点。
但代价呢？嗯，这里要注意——动态形状会带来几个头疼的问题：
- 编译时间爆炸：每次遇到新形状，框架可能都要重新编译或JIT。我见过一个BERT模型，动态形状下首次推理耗时是静态的20倍。
- 内存碎片化：不同形状的中间张量大小不一，显存分配就像拼图游戏。搞不好就会触发OOM，即使总显存看起来够用。
- 算子选择困难：有些算子对特定尺寸有优化（比如Winograd卷积对3x3核最友好），动态形状下编译器很难选到最优实现。
我的个人习惯： 如果动态形状不可避免，我会先做「形状聚类」。比如把输入尺寸归到几个固定档位（256、512、1024），然后对每个档位做静态优化。这样既保留了灵活性，又避免了完全动态的性能损失。
何时选择动态形状？
这个问题没有标准答案，但我可以分享几个判断依据：
| 场景 | 推荐形状 | 原因 |
|---|---|---|
| 视频流处理（固定分辨率） | 静态 | 输入尺寸不变，静态形状可以榨干硬件性能 |
| NLP服务（变长文本） | 动态 | padding到固定长度会浪费大量计算 |
| 目标检测（多尺度输入） | 动态或半动态 | 保持原始宽高比很重要，但可以限制范围 |
| 移动端部署 | 静态 | 内存和算力有限，动态形状容易触发OOM |
我个人建议：能用静态就别用动态。但如果你遇到以下情况，动态形状几乎是唯一选择：
- 输入尺寸变化超过10倍（比如同时处理缩略图和原图）
- 业务要求保持原始宽高比（比如医疗影像分析）
- 模型本身对形状敏感（比如某些Transformer变体）
避坑指南： 我曾经在一个语音识别项目里，为了省事把所有音频都padding到10秒。结果短音频的推理速度反而变慢了——因为模型花了大量时间处理无效的静音部分。后来改成动态形状，只处理有效音频段，速度提升了3倍。
一个折中方案：半动态形状
如果你既想要灵活性，又不想牺牲太多性能，可以试试「半动态形状」。说白了就是设定几个固定的形状档位，推理时把输入映射到最近的档位。
# 伪代码示例：形状聚类
shape_buckets = [256, 512, 1024, 2048]
def map_to_bucket(input_size):
# 找到最近的档位
return min(shape_buckets, key=lambda x: abs(x - input_size))
# 每个档位单独编译优化
for bucket in shape_buckets:
compile_model(bucket)这样做的好处是：编译次数可控（只有4次），内存分配可预测，同时保留了大部分灵活性。我在实际项目中用这个方案，性能只比纯静态差了5%，但灵活性提升了80%。
小技巧： 档位的选择不是均匀分布的。我习惯用2的幂次（128、256、512...），因为很多硬件对2的幂次有特殊优化。另外，档位之间的间隔不要太大，否则映射损失会很明显。
总结一下
静态形状和动态形状，没有绝对的好坏。关键看你的业务场景：
- 追求极致性能、输入可控 → 静态形状
- 输入变化大、灵活性优先 → 动态形状
- 想兼顾两者 → 半动态形状（形状聚类）
嗯，最后说一句。别被框架的默认设置绑架了。很多框架默认用动态形状，但你的场景可能根本不需要。我见过太多人因为懒得改配置，白白损失了30%的性能。动手之前，先想清楚你的输入到底长什么样。