Reality AI · 实时推理与低延迟实现 · 课程目录

Reality AI 概述实时推理

什么是Reality AI、实时推理定义、低延迟重要性、应用场景：自动驾驶/机器人/AR/VR

实时系统基础 RTOS

硬实时与软实时、RTOS简介、任务调度(RMS/EDF)、中断处理机制

AI模型推理基础前向传播

模型推理流程、计算图与算子、推理引擎(TensorRT/ONNX Runtime/OpenVINO)概览

低延迟硬件架构 GPU/FPGA

GPU(CUDA核心/Tensor Core)、FPGA、ASIC(TPU/NPU)、异构计算

模型量化技术 INT8/INT4

FP32/FP16/INT8/INT4量化原理、QAT与PTQ、校准数据集

模型剪枝与蒸馏知识蒸馏

结构化/非结构化剪枝、软标签、温度参数、蒸馏与剪枝联合优化

算子融合与图优化 Conv+BN+ReLU

算子融合、常量折叠、死代码消除、TensorRT图优化策略

内存优化技术零拷贝

内存池、共享内存、显存复用、Pinned Memory、异步数据传输

并行计算与流水线多流执行

数据/模型/流水线并行、异步推理、Multi-Stream执行

推理引擎实战 TensorRT/ONNX

TensorRT部署流程、ONNX Runtime C++ API、OpenVINO模型优化

CUDA编程基础 Grid/Block/Thread

CUDA编程模型、内存层次、同步与原子操作

CUDA算子优化矩阵乘法

Tiling、Bank Conflict、Reduce优化、Warp Shuffle指令

TensorRT高级特性动态形状

Dynamic Shapes、INT8校准、DLA (Deep Learning Accelerator)

FPGA推理加速 HLS/DPU

高层次综合、卷积算子FPGA实现、OpenCL、Xilinx DPU

模型部署与序列化 TorchScript/ONNX

模型导出、Protobuf/FlatBuffers、版本管理

端侧推理优化移动GPU

Qualcomm Adreno、Apple GPU、NNAPI、Core ML、TFLite GPU

边缘计算与云边协同模型分片

边缘推理架构、Split Computing、云端卸载、延迟与带宽权衡

实时视频流处理硬件解码

视频解码(零拷贝)、帧缓存管理、跳帧策略、多路并发推理

传感器融合与时间同步卡尔曼滤波

多传感器时间戳对齐、IMU+视觉融合、延迟补偿

自动驾驶实时推理 YOLO/BEV

感知模型(YOLO/BEVFormer)、路径规划、端到端延迟预算

机器人实时控制 ROS2/MPC

ROS2与实时推理、模型预测控制、关节控制与推理同步

AR/VR低延迟渲染 Time Warp

姿态预测、异步时间扭曲(ATW)、空间扭曲(ASW)、注视点渲染

实时语音AI RNN-T/CTC

流式语音识别、VAD、低延迟TTS、回声消除

实时推荐系统增量更新

特征工程流水线、模型在线学习、缓存策略、预计算+实时计算

性能剖析与调优工具 Nsight

NVIDIA Nsight Systems/Compute、TensorRT Profiler、Perfetto、火焰图

延迟测量与SLA P99/P999

端到端延迟分解、抖动分析、SLA定义与监控

负载测试与压力测试并发模拟

吞吐量与延迟关系、资源瓶颈分析、回退策略

容错与高可用热更新

模型热更新、优雅降级、故障转移、冗余推理、健康检查

安全与隐私 TEE/联邦学习

模型加密、可信执行环境、联邦学习、差分隐私、对抗防御

未来趋势与总结神经形态计算

存内计算、光计算、AI编译器(TVM/MLIR)、课程总结与最佳实践