GPU架构概览
CUDA编程模型
线程层次结构
内存层次结构
Nsight Systems安装
基本性能指标解读
Kernel分析
Occupancy分析
Memory分析
指令分析
全局内存合并访问
共享内存使用
Bank Conflict避免
常量内存与纹理内存
Warp调度与分支发散
循环展开
向量化加载
指令级并行
CUDA Stream概念
多流并发
Host-Device异步
回调函数
Graph捕获与重放
Graph参数优化
动态图与静态图
Unified Memory原理
数据预取策略
内存迁移优化
TensorRT简介
推理优化原理
支持的网络层
精度模式选择
ONNX解析器
TensorRT网络定义
Builder配置
Engine序列化
FP16/INT8量化原理
校准数据集准备
校准器实现
精度损失评估
Dynamic Shape配置
优化Profile设置
多Profile管理
自定义层实现
Plugin接口详解
Plugin注册与使用
性能对比
Engine优化策略
内存池管理
多流推理
批处理优化
PyTorch集成
TensorFlow集成
ONNX Runtime集成
多卡并行策略
NCCL通信优化
负载均衡
同步与异步
服务化部署
边缘端部署
嵌入式平台优化
Docker容器化
测试指标定义
测试环境标准化
结果可重复性
自动化测试框架
Nsight Systems Trace
Kernel耗时分布
Pipeline瓶颈识别
层融合策略
垂直融合与水平融合
内存布局优化
算子替换
AMP原理
Loss Scaling
精度敏感层处理
混合精度部署
结构化剪枝
非结构化剪枝
稀疏矩阵计算
TensorRT稀疏支持
Flash Attention原理
Memory Efficient Attention
Fused Attention实现
KV Cache优化
Continuous Batching
PageAttention
模型并行推理
从Profiling到部署全流程
端到端性能调优
生产环境最佳实践
常见问题排查