实时系统推理延迟优化策略 · 课程目录

01 延迟优化概述

实时系统推理延迟的定义、延迟对系统的影响、优化目标与挑战。

02 性能分析基础

Profiling工具介绍（perf、nsys）、关键性能指标（吞吐量、P99延迟）、瓶颈定位方法。

03 模型量化技术

FP32到FP16/INT8转换原理、QAT与PTQ、量化对延迟的影响。

04 模型剪枝与蒸馏

结构化剪枝与非结构化剪枝、知识蒸馏原理、剪枝后微调策略。

05 算子融合与图优化

算子融合（Conv+BN+ReLU）、计算图优化、TVM与XLA编译器。

06 内存访问优化

数据局部性原理、缓存友好型数据结构、内存池与预分配策略。

07 并行计算策略

数据并行、模型并行、流水线并行、张量并行。

08 异步推理与批处理

动态批处理、连续批处理、异步推理框架设计。

09 硬件加速器利用

GPU（CUDA/TensorRT）、NPU（华为昇腾）、FPGA推理加速。

10 推理引擎选择

TensorRT、ONNX Runtime、OpenVINO、Triton Inference Server对比。

11 服务端优化

负载均衡、请求调度策略、超时与重试机制。

12 客户端优化

模型预加载、推理结果缓存、请求合并。

13 网络传输优化

gRPC vs REST、协议缓冲区（Protobuf）、数据压缩与序列化。

14 冷启动与预热

模型加载时间优化、预热请求策略、持久化推理服务。

15 动态形状处理

动态输入尺寸挑战、Padding策略、可变形状批处理。

16 稀疏计算优化

稀疏矩阵存储格式（CSR/CSC）、稀疏算子实现、硬件稀疏支持。

17 低精度计算

FP8/INT4量化、混合精度训练与推理、精度与延迟权衡。

18 编译优化

JIT编译（PyTorch JIT）、AOT编译、算子自动调优（AutoTVM）。

19 缓存策略

LRU/LFU缓存、特征缓存、中间结果缓存。

20 推理流水线设计

预处理-推理-后处理流水线、多阶段并行、队列管理。

21 资源隔离与调度

CPU绑定、GPU MPS、容器化资源限制（cgroups）。

22 延迟SLA保障

SLA定义、超时降级、熔断机制、优先级队列。

23 端侧推理优化

模型压缩（TFLite/ONNX Runtime Mobile）、NPU/GPU委托、异构计算。

24 边缘计算场景

边缘-云协同推理、模型分片、离线推理策略。

25 监控与可观测性

延迟指标采集（Prometheus）、分布式追踪（Jaeger）、日志聚合。

26 A/B测试与渐进式发布

推理服务灰度发布、延迟对比实验、回滚机制。

27 成本与延迟权衡

硬件选型（A100 vs T4）、Spot实例利用、弹性伸缩策略。

28 安全与延迟

模型加密解密开销、安全推理（如安全聚合）、对抗攻击防御。

29 案例研究

NVIDIA Triton实战优化、BERT推理延迟优化、YOLOv5端侧部署。

30 未来趋势

神经架构搜索（NAS）优化延迟、可重构计算、存算一体技术。