边缘计算推理框架深度定制 · 课程目录

边缘计算概述概念

定义、发展历程、核心价值与典型应用场景（智能制造、自动驾驶）

推理框架选型对比

TensorRT / ONNX Runtime / OpenVINO / TFLite 选型方法论

环境搭建与工具链 SDK

交叉编译、Docker、Jetson/RK3588/Intel SDK安装

模型转换基础 ONNX

PyTorch/TF导出ONNX，常见转换问题与调试

模型量化原理 INT8

FP32/FP16/INT8，对称/非对称量化，校准数据集

TensorRT核心概念 Engine

Builder/Network/ExecutionContext，构建与序列化

TensorRT插件开发自定义

IPluginV2接口，动态Shape支持

TensorRT动态Shape Profile

Profile设置，多Profile切换，性能权衡

ONNX Runtime定制 EP

Execution Provider机制，自定义OP注册，调优

OpenVINO模型优化 IR

Model Optimizer，IR格式，HETERO/MULTI插件

TFLite委托机制 Delegate

GPU/NNAPI委托，自定义委托，Edge TPU

内存优化策略零拷贝

内存池、张量复用、零拷贝推理，减少碎片

计算图优化 Pass

算子融合、常量折叠、死代码消除，图优化Pass

多模型流水线 Pipeline

Pipeline设计，异步推理队列，多模型协同

异构计算调度 CPU+GPU+NPU

任务切分，负载均衡算法

推理精度调试 Polygraphy

逐层精度对比，量化敏感层定位与回退

性能Profiling Nsight

NVIDIA Nsight、Intel VTune、自定义Profiler

低延迟优化 Batch=1

内核自动调优，减少CPU-GPU同步开销

多线程与并发无锁队列

线程池，请求合并，无锁队列实现

模型加密与保护 AES

加密方案、安全加载、反调试技术

OTA升级方案热更新

模型热更新，版本管理，回滚机制

边缘设备资源监控监控

CPU/GPU/内存/温度，自适应降频

容器化部署 K3s

KubeEdge，边缘节点管理，服务发现

Benchmark与压测指标

标准数据集，延迟/吞吐/功耗，报告生成

案例：智能安防 Jetson

人脸检测+跟踪在Jetson全流程优化

案例：工业质检 RK3588

缺陷检测模型INT8部署

案例：自动驾驶 Orin

多传感器融合模型实时推理

案例：智慧零售 OpenVINO

商品识别模型在Intel NUC部署

框架深度定制总结最佳实践

常见陷阱，性能与灵活性权衡

未来趋势稀疏计算

稀疏、动态模型、存算一体芯片影响