什么是推理服务化
为什么需要服务化
TensorRT角色
整体架构
Docker环境
NVIDIA工具包
TensorRT镜像
GPU驱动验证
PyTorch导出ONNX
ONNX检查优化
TensorRT解析ONNX
Engine序列化
Builder & Config
Network定义
优化策略
生成Engine
C++环境配置
Builder & Config
Network与优化
Engine推理
动态Batch
动态输入尺寸
Profile配置
运行时形状绑定
校准数据集
INT8校准器
量化精度评估
混合精度策略
CUDA流概念
多流并行推理
Stream管理
性能对比分析
REST架构原则
API端点设计
请求/响应格式
状态码规范
Protocol Buffers
gRPC服务端
gRPC客户端
流式传输
Nginx反向代理
负载均衡策略
健康检查
故障转移
Prometheus集成
自定义指标
Grafana仪表盘
日志收集
Token认证
API Key管理
HTTPS配置
访问控制列表
Dockerfile编写
多阶段构建
镜像优化
容器编排基础
Pod配置
Service暴露
Ingress配置
自动扩缩容
GitLab CI配置
自动化测试
镜像构建
自动部署
TensorRT for Jetson
边缘设备适配
模型压缩
功耗优化
Plugin接口
自定义层实现
插件注册
性能调优