📘 TensorRT · 嵌入式加速

🚀 30 章实战目录

TensorRT 概述

什么是TensorRT嵌入式优势核心组件与流程

开发环境搭建

Jetson平台JetPack SDK交叉编译

ONNX格式PyTorch导出可视化调试

模型转换入门

trtexec工具FP32/FP16/INT8

TensorRT Python API

Builder/NetworkEngine序列化

TensorRT C++ API

核心类Runtime推理Python对比

动态形状支持

动态BatchOptimization Profile内存管理

INT8 量化原理

对称/非对称校准数据集Calibrator

INT8 量化实战

Python校准精度评估常见问题

插件 (Plugin) 开发

Plugin接口自定义Layer注册使用

多流推理优化

多线程架构Stream管理多GPU

内存优化技巧

内存池DMA传输零拷贝

模型剪枝与稀疏化

结构化剪枝稀疏支持加速原理

层融合与图优化

图优化策略手动融合调试优化

TensorRT Profiling

Nsight Systems性能分析瓶颈定位

TensorRT 与 DeepStream

DeepStream框架GStreamer集成视频分析

TensorRT 与 ROS 集成

ROS节点实时性保障机器人感知

TensorRT 与 Triton Server

Triton架构模型仓库客户端API

TensorRT 与 TensorFlow

TF-TRT模型转换混合精度

TensorRT 与 PyTorch

torch2trt直接推理动态/静态图

嵌入式平台性能调优

CPU/GPU负载电源管理散热降频

多模型流水线

串行/并行延迟与吞吐实战案例

安全与版本管理

模型加密版本兼容回滚策略

TensorRT 边缘部署

设备选型模型压缩OTA更新

TensorRT 与 OpenCV

图像预处理GPU加速端到端Pipeline

自定义数据加载器

高性能加载预处理加速异步加载

错误处理与调试

错误码解析日志系统断点调试

TensorRT Benchmark

基准测试延迟/吞吐精度对比

社区与生态

NVIDIA论坛GitHub项目工具资源

综合实战项目

训练到部署文档规范性能报告