⚡
TensorRT 跨平台编译与移植
实战课程
📚 30章完整体系
🔧 从入门到部署
🎯 中小学风格
🌈
📁 30个实战章节
1
TensorRT 概述
基础
什么是TensorRT · AI部署角色 · 核心优势与适用场景
➔
2
开发环境准备
环境
Ubuntu · NVIDIA驱动/CUDA · cuDNN · TensorRT安装
➔
3
TensorRT 基础架构
核心
推理引擎 · 网络定义 · Builder · Runtime上下文
➔
4
模型序列化与反序列化
序列化
序列化原理 · .engine文件格式 · 加载/保存实战
➔
5
ONNX 模型解析
ONNX
ONNX格式 · 导出工具 · 结构查看 · 优化技巧
➔
6
TensorRT API 入门
API
C++ vs Python · IRuntime · 构建Engine · 内存管理
➔
7
网络构建与层操作
网络
网络定义API · 常见层添加 · 动态形状支持
➔
8
精度校准与量化
量化
FP32/FP16/INT8 · 量化原理 · 校准器实现
➔
9
动态形状处理
动态
动态Batch · 输入尺寸 · Optimization Profile
➔
10
插件 (Plugin) 开发
插件
自定义层 · Plugin接口 · 注册与序列化
➔
11
跨平台编译概述
编译
为什么跨平台 · ARM/x86/Jetson · 工具链选择
➔
12
交叉编译工具链配置
工具链
GCC交叉编译器 · CMake配置 · 依赖管理
➔
13
TensorRT 源码编译
源码
从源码编译 · 选项配置 · 静态/动态库 · 验证
➔
14
ARM 平台编译实战
ARM
树莓派/瑞芯微 · 交叉编译 · 性能调优 · 排查
➔
15
Jetson 平台编译实战
Jetson
Nano/Xavier/Orin · JetPack · 预装版本 · 自定义编译
➔
16
x86 平台编译实战
x86
服务器端 · GPU兼容 · CUDA版本管理 · Docker编译
➔
17
模型移植流程
移植
模型导出 · 优化(层融合) · 精度验证 · 基准测试
➔
18
内存与显存管理
内存
显存池 · 内存复用 · CPU/GPU拷贝优化 · 泄漏检测
➔
19
多线程与异步推理
并发
多线程框架 · 异步推理 · 线程安全 · 性能监控
➔
20
推理服务化部署
服务
RESTful API · gRPC · 负载均衡 · Docker部署
➔
21
性能分析与优化
性能
Nsight Systems · Profiling · 瓶颈定位 · 延迟/吞吐量
➔
22
常见错误与调试
调试
Engine构建失败 · 推理错误 · 内存越界 · 日志技巧
➔
23
安全与版本管理
安全
模型加密 · 版本兼容 · 回滚策略 · 安全更新
➔
24
边缘设备部署实战
边缘
设备选型 · 模型压缩 · 功耗平衡 · OTA更新
➔
25
云端部署实战
云端
GPU实例 · 弹性伸缩 · 成本优化 · 监控告警
➔
26
TensorRT与框架集成
集成
Pytorch(Torch-TRT) · TensorFlow(TF-TRT) · 自定义
➔
27
多模型管理与流水线
流水线
多模型并行 · Pipeline设计 · 热加载 · 资源隔离
➔
28
自定义算子与优化
算子
算子开发流程 · 性能优化 · 注册测试 · 库集成
➔
29
案例实战
实战
图像分类 · YOLO检测 · 语义分割 · BERT部署
➔
30
总结与展望
未来
发展趋势 · 学习路径 · 社区资源 · 项目建议
➔