01YOLO模型部署概述
部署全景图ONNX/TensorRT性能指标
开始学习
02环境搭建与工具链
CUDA/cuDNNTensorRTONNX RuntimeDocker
开始学习
03模型导出与转换
PyTorch→ONNXONNX→TensorRT动态batchFP16/INT8
开始学习
04内存优化基础
显存/内存模型碎片化池化复用
开始学习
05TensorRT高级优化
层融合内核调优动态形状多流执行
开始学习
06ONNX Runtime优化
会话选项图优化执行提供者内存模式
开始学习
07预处理与后处理优化
图像解码加速Resize/NormalizeNMS优化CUDA Kernel
开始学习
08流水线并行与异步
生产者-消费者CUDA Stream异步推理双缓冲
开始学习
09多模型与多卡部署
模型分片多GPU负载MIG/时间切片
开始学习
10量化技术实战
PTQ/QATKL散度INT8调优敏感层分析
开始学习
11内存池设计与实现
自定义分配器缓存对齐伙伴算法环形缓冲区
开始学习
12推理框架集成
Triton ServerTorchServeFastAPIgRPC/REST
开始学习
13性能Profiling工具
Nsight SystemsNsight ComputePyTorch Profiler计时器
开始学习
14算子优化与融合
Conv+BN+ReLUGELU近似SiLU优化Plugin
开始学习
15数据加载优化
DALI库预处理卸载GPU预取缓存内存映射
开始学习
16显存优化技巧
梯度检查点激活压缩混合精度碎片整理
开始学习
17模型剪枝与蒸馏
结构化剪枝通道剪枝知识蒸馏重参数化
开始学习
18部署安全与稳定性
模型加密输入校验异常处理优雅降级
开始学习
19边缘端部署优化
Jetson优化NCNN/TNN/MNNNPU加速功耗控制
开始学习
20服务端部署优化
批处理策略动态batching请求调度负载测试
开始学习
21视频流处理优化
RTSP拉流硬件解码跳帧策略多路并发
开始学习
22自定义算子开发
CUDA PluginTensorRT PluginONNX Custom Op调试
开始学习
23内存泄漏检测与修复
ValgrindAddressSanitizer智能指针RAII
开始学习
24性能基准测试
Latency测试ThroughputP99延迟压力测试
开始学习
25模型版本管理
模型仓库版本回滚A/B测试灰度发布
开始学习
26日志与监控
PrometheusGrafana告警规则日志分级
开始学习
27容器化部署
Dockerfile优化多阶段构建镜像瘦身K8s部署
开始学习
28CI/CD流水线
自动化测试性能回归模型验证自动部署
开始学习
29实战案例一：工业质检
高精度+低延迟缺陷检测产线部署
开始学习
30实战案例二：智慧交通
高吞吐+多路视频车流分析边缘协同
开始学习