⚡
边缘AI推理框架实战
📘 从零搭建 · 30章完整体系
📅
2025 春季
⚙️
Jetson / RK3588 / ARM
30
章节
30
实战项目
8+
推理框架
3
完整项目
🎯 从入门到部署
01
边缘AI概述
概念 · 区别 · 芯片
什么是边缘AI、与云AI的区别、应用场景（智能家居/工业视觉/自动驾驶）、主流芯片 Jetson/RK3588/K210
02
开发环境搭建
工具链 · SSH · 刷机
交叉编译工具链安装、SSH远程开发、VSCode远程调试、板卡刷机与系统烧录
03
C++基础回顾（上）
指针 · 内存 · STL
指针与引用、内存管理(new/delete)、智能指针(shared_ptr/unique_ptr)、STL容器(vector/map)
04
C++基础回顾（下）
多线程 · 文件 · 设计模式
多线程(std::thread)、线程同步(mutex/condition_variable)、文件操作(fstream)、设计模式(单例/工厂)
05
ONNX Runtime入门
模型格式 · 推理
ONNX模型格式介绍、ONNX Runtime安装编译、加载运行ONNX模型、输入输出张量处理
06
TensorRT基础（上）
加速原理 · Engine
TensorRT简介与加速原理、安装配置、Parser使用、构建Engine与序列化
07
TensorRT基础（下）
动态形状 · INT8 · 多Stream
动态形状(Dynamic Shape)、INT8量化原理与实践、多Stream并发推理、Profiler性能分析
08
NCNN框架实战
ARM CPU部署
NCNN特点与场景、模型转换(PyTorch/ONNX to NCNN)、benchmark测试、ARM CPU分类模型部署
09
MNN框架实战
架构 · 量化 · 端侧部署
MNN架构解析、模型转换与量化、会话管理与多线程推理、Android/iOS端部署实例
10
Tengine框架实战
异构计算 · RK3588
Tengine异构计算(CPU/GPU/NPU)、模型加载与图优化、C API使用、RK3588部署YOLOv5
11
OpenVINO工具套件
Intel CPU/GPU
模型优化器(MO)使用、推理引擎(IE) API详解、Intel CPU/集成GPU部署、性能调优技巧
12
CoreML与iOS部署
ANE加速
CoreML模型转换(coremltools)、Xcode集成与Swift调用、ANE加速、内存与功耗优化
13
TFLite与Android部署
GPU委托 · NNAPI
TFLite模型转换与量化、Android JNI接口封装、GPU Delegate加速、NNAPI适配
14
模型压缩技术（上）
剪枝实战
剪枝(Pruning)原理、结构化/非结构化剪枝、基于L1范数的通道剪枝实战
15
模型压缩技术（下）
知识蒸馏 · QAT
知识蒸馏原理、蒸馏温度与损失函数设计、量化感知训练(QAT)实战
16
推理框架核心设计（上）
架构 · 图优化 · 内存池
整体架构(前端/引擎/后端)、计算图优化(常量折叠/算子融合)、内存池设计与复用
17
推理框架核心设计（下）
算子 · 异构 · Profiling
算子注册与管理、异构调度策略、Profiling与日志系统、插件化后端设计
18
自定义算子开发
ONNX · TensorRT · NCNN
ONNX自定义算子注册、TensorRT Plugin开发(C++)、NCNN Vulkan算子实现、性能基准测试
19
多模型流水线
串联 · 异步 · 视频流
模型串联与并联设计、异步推理与任务队列、共享内存零拷贝、视频流处理管线实战
20
性能优化实战（上）
CPU · NEON · OpenMP
CPU推理优化(NEON指令集/OpenMP并行)、内存带宽优化(Cache友好/数据对齐)、算子融合与图优化
21
性能优化实战（下）
GPU · NPU · Profiling
GPU推理优化(CUDA Stream/共享内存)、NPU调度优化、端侧功耗控制、perf/nsys工具使用
22
模型安全与加密
AES · 对抗攻击
模型文件加密(AES/RSA)、运行时解密与加载、完整性校验、对抗攻击与防御基础
23
边缘设备系统优化
内核裁剪 · OTA
Linux内核裁剪与实时性优化、文件系统精简(Buildroot/Yocto)、开机自启与看门狗、OTA升级方案
24
传感器数据接入
摄像头 · 音频 · IMU
摄像头(V4L2/MIPI)数据采集、麦克风阵列音频流、IMU传感器数据同步、多模态数据对齐
25
推理结果后处理
NMS · 可视化 · 序列化
目标检测NMS优化(CUDA实现)、语义分割可视化、关键点绘制与平滑滤波、Protobuf/FlatBuffers序列化
26
云端协同架构
边缘-云 · 联邦学习
边缘-云数据同步策略、模型热更新机制、联邦学习基础与边缘聚合、端侧日志上报与监控
27
项目实战（一）：智能门禁
人脸 · 活体 · 低功耗
人脸检测+识别+活体检测、多模型串行推理、低功耗待机模式设计
28
项目实战（二）：工业缺陷检测
检测 · 报警 · MES
数据采集与标注、模型训练与量化、实时检测与报警、产线MES对接
29
项目实战（三）：智能语音助手
KWS · ASR · NLU
语音唤醒(KWS)+语音识别(ASR)+自然语言理解(NLU)、流式推理与低延迟优化
30
课程总结与展望
趋势 · 职业 · 开源
边缘AI技术趋势(Transformer上端侧/多模态大模型)、职业发展建议、开源社区贡献指南