02
延迟来源分析
数据采集·模型推理·通信·后处理延迟拆解
04
模型轻量化技术（下）
TensorRT / ONNX Runtime / TFLite 选型对比
05
推理引擎优化
TensorRT层融合·动态张量·ONNX图优化
06
硬件加速原理
GPU(CUDA) / NPU / FPGA 加速原理与场景
07
异构计算架构
CPU+GPU/NPU流水线·负载均衡·端到端延迟
08
内存管理策略
内存池·零拷贝·DMA传输在边缘设备应用
10
任务调度策略
优先级调度·EDF·RM在AI任务中的应用
11
异步推理模式
同步vs异步·回调·Future/Promise实现
14
端侧部署框架对比
OpenVINO·MediaPipe·NCNN·MNN实时性
15
操作系统实时性改造
Linux PREEMPT_RT·RT-Linux·Zephyr调优
16
网络传输优化
MQTT vs gRPC vs WebSocket·序列化延迟
18
性能剖析工具
perf·gprof·TensorBoard Profiler·Nsight Systems
20
实时性基准测试
Benchmark设计·延迟分布·P99/P999·吞吐量
25
缓存优化
数据局部性·Cache Line对齐·预取指令
26
向量化指令集
ARM NEON·x86 AVX·SIMD编程入门
27
编译器优化
-O3·LTO·PGO对推理延迟的影响