图像解码与Resize瓶颈
CPU与GPU差异
数据加载IO优化
libjpeg-turbo vs OpenCV
硬件解码器NVDEC/VAAPI
批量解码策略
归一化与SIMD优化
颜色空间加速技巧
GPU批量预处理
多线程/多进程加载
TF Data API vs PyTorch DataLoader
在线增强与离线增强
TensorRT / ONNX Runtime / OpenVINO
架构对比
模型格式转换与优化
模型导出与Engine构建
动态shape处理
INT8量化与校准
ONNX模型导出
Session配置与优化
自定义算子支持
模型优化与IR转换
异构执行
CPU/GPU/VPU部署
CPU/GPU/NPU/TPU适配
推理框架Benchmark
延迟与吞吐量权衡
动态批处理与静态批处理
Batch Size影响
服务中动态批处理
同步与异步模式
CUDA Stream并发
异步Pipeline设计
FP16/INT8/INT4量化
量化感知训练与后训练
量化对精度影响
结构化/非结构化剪枝
知识蒸馏原理
剪枝蒸馏工程实践
Conv+BN+ReLU融合
常量折叠
死代码消除
CUDA并行NMS
快速NMS (Cluster NMS)
TensorRT集成NMS
CUDA Kernel优化Softmax
TopK并行算法
自定义后处理算子
BBox解码加速
Mask解码优化
CTC解码加速
前处理-推理-后处理流水线
队列与线程池
延迟与吞吐平衡
Triton Inference Server
gRPC vs RESTful
模型版本管理与热加载
模型压缩 NCNN/TNN/MNN
端侧推理引擎选择
功耗与性能权衡
Nsight Systems / NVIDIA Profiler
ONNX Runtime Profiling
定位瓶颈方法论
Transformer KV Cache优化
Flash Attention原理
ONNX Runtime for NLP
CLIP/ViT预处理与后处理
多模态特征对齐优化
大模型推理挑战
模型版本对比自动化
在线评估指标(延迟/精度)
回滚策略
Metrics采集(Prometheus)
日志结构化
异常检测与自动恢复
动态编译(JIT)
稀疏计算
存算一体架构
大模型推理挑战与机遇