ONNX是什么
ONNX的由来
生态与优势
模型结构解析
PyTorch导出
TensorFlow导出
Keras导出
常见问题修复
Netron可视化
onnxruntime推理
onnxsim简化
onnx-graphsurgeon
TensorRT是什么
推理加速原理
安装与配置
硬件与精度
Engine/Plan
Builder/Config
Network Definition
ExecutionContext
trtexec命令行
ONNX→Engine流程
静态Batch
动态Batch
Builder配置
Network定义
Layer添加
序列化/反序列化
C++环境搭建
Builder/Config
Engine推理
多线程安全
FP32/FP16/INT8
校准集准备
INT8量化原理
量化误差分析
动态Batch
动态宽高
Profile配置
Shape Range
自定义Layer场景
Plugin接口实现
注册与使用
Plugin序列化
算子不支持
维度不匹配
精度溢出
动态Shape冲突
内存不足
Profiling工具
Layer耗时分析
算子融合策略
内存优化技巧
Stream概念
多Stream并行
异步推理
CPU/GPU协同
PyTorch-TensorRT
TF-TRT
ONNX Runtime-TRT
ResNet50
ONNX→Engine
精度验证
性能对比
Triton架构
模型仓库配置
动态批处理
并发推理
DeepStream架构
GStreamer集成
视频分析管线
性能优化
Jetson优化
功耗与性能
DLA使用
内存限制处理
Engine加密
模型混淆
License控制
反调试技术
Docker镜像构建
环境一致性
CI/CD集成
版本管理
ONNX→TRT全流程
性能基准测试
生产环境部署
监控与告警