🧩 边缘推理引擎 · 选型与配置实战
📘 30章 完全目录
📅 30 章节
从入门到实战
⚡ Jetson / RK3588 / x86 / ARM
🧪 TensorRT · ONNX · OpenVINO · TFLite · NCNN · MNN
01
边缘计算概述
边缘计算与云计算区别 · 核心价值 · 智能制造/自动驾驶/智慧零售
概念
场景
02
边缘设备硬件选型
Jetson/RK3588/Intel NUC/树莓派 · 算力功耗权衡 · NPU/GPU/CPU
硬件
对比
03
推理引擎全景图
TensorRT · ONNX Runtime · OpenVINO · TFLite · NCNN · MNN
生态
选型
04
模型格式与转换
ONNX中间格式 · PyTorch/TF转ONNX · 转TensorRT/OpenVINO · 量化
ONNX
转换
05
TensorRT核心概念
层融合 · 精度校准 · 内核调优 · Builder/Engine/Context · 动态shape
TensorRT
优化
06
TensorRT实战
ONNX构建引擎 · FP16/INT8量化 · 多batch · Profiling工具
量化
性能
07
ONNX Runtime部署
C++/Python API · Session配置 · CPU/GPU后端 · 内存管理
ORT
跨平台
08
OpenVINO详解
Intel架构 · MO与IE · IR模型 · 异构执行 CPU+GPU+VPU
OpenVINO
Intel
09
TFLite与NNAPI
模型转换 · Delegate机制 · GPU/NNAPI/XNNPACK · Android部署
TFLite
移动端
10
NCNN轻量级推理
腾讯NCNN · ncnn2mem · Vulkan加速 · ARM CPU优化 · 移动端
NCNN
轻量
11
MNN跨平台方案
阿里巴巴MNN · Op融合 · CPU/GPU/NPU · 性能对比
MNN
跨平台
12
推理引擎性能对比
Jetson/X86/ARM延迟&吞吐量 · 内存占用 · 启动时间
基准
选型
13
模型量化技术
PTQ与QAT · 对称/非对称 · Calibration · 精度恢复
量化
INT8
14
算子兼容性排查
Resize/Gather/NMS · 算子替换 · 自定义算子注册
算子
兼容
15
动态shape处理
动态batch/分辨率 · 各引擎支持程度 · 实现方式
动态
shape
16
多模型流水线
串行/并行 · Pipeline设计 · 共享内存 · 异步推理
流水线
高性能
17
内存与显存优化
内存池 · 显存复用 · 数据传输优化 · 泄漏检测
优化
显存
18
推理引擎C++部署
C++ API · RAII · 多线程安全 · CMake工程
C++
部署
19
Python快速原型
Python API · numpy转换 · GIL与多进程 · Jupyter
Python
原型
20
容器化部署
Docker · nvidia-docker · 多架构镜像 · K3s编排
容器
K3s
21
边缘设备系统优化
CPU调频 · 内存压缩 · 实时内核 · 功耗管理
系统
调优
22
Benchmark与Profiling
延迟/吞吐量/功耗 · Nsight/perf/htop · 瓶颈定位
Profiling
性能
23
模型加密与安全
AES/RSA加密 · TEE · 模型混淆 · 防逆向
安全
加密
24
OTA更新与版本管理
模型版本 · 灰度发布 · 回滚 · 差分更新
OTA
运维
25
边缘-云协同推理
端侧预处理+云侧大模型 · 模型分片 · 断点续传
协同
云边
26
案例：智慧零售
商品识别 · Jetson Nano · TensorRT部署优化
案例
零售
27
案例：工业质检
缺陷检测 · RK3588 · RKNN部署 · 流水线
工业
RKNN
28
案例：自动驾驶辅助
检测+分割+跟踪 · Orin实时推理调度
自动驾驶
多模型
29
选型决策矩阵
算力/功耗/成本/生态 · 选型建议表
决策
矩阵
30
未来趋势与总结
异构计算 · 存算一体 · 模型轻量化 · 边缘AI演进
趋势
总结