嵌入式设备部署大模型实战 · 课程目录

01嵌入式AI概述

大模型在边缘端的应用场景、嵌入式AI的挑战与机遇、课程框架

02硬件平台选型

Jetson / RK3588 / 树莓派对比、算力内存与外设考量

03开发环境搭建

交叉编译工具链、SSH远程开发、rsync同步

04模型基础与格式

ONNX / TensorRT / 量化原理 INT8/FP16

05模型转换实战(一)

PyTorch转ONNX、优化验证、踩坑记录

06模型转换实战(二)

ONNX转TensorRT、动态batch、精度校准

07推理框架选型

TensorRT / ONNX Runtime / OpenCV DNN / NCNN

08TensorRT部署入门

API核心概念、构建Engine、序列化

09TensorRT高级特性

动态形状、多流推理、INT8量化、层融合

10ONNX Runtime部署

C++/Python SDK、Session配置、性能调优

11NCNN部署实战

模型转换、Vulkan加速、ARM优化

12模型剪枝与蒸馏

结构化剪枝、知识蒸馏、嵌入式收益

13量化部署实战

PTQ / QAT、校准数据集、精度修复

14内存优化技巧

模型分片、内存池、共享内存

15推理加速技术

算子融合、内存复用、异步推理、流水线

16多模型协同

级联部署、数据传递、资源调度

17摄像头接入与预处理

V4L2驱动、OpenCV预处理、硬件编解码

18实时视频流处理

GStreamer管道、帧率控制、丢帧策略

19模型服务化

RESTful API、gRPC、WebSocket推流

20边缘-云端协同

模型远程更新、数据回传、断网续传

21性能Profiling工具

NVIDIA Nsight、perf、火焰图、瓶颈定位

DVFS调优、GPU/CPU频率、休眠唤醒

23安全与稳定性

模型加密、防篡改、看门狗、日志

24OTA升级方案

差分升级、AB分区、回滚、失败处理

25容器化部署

Docker嵌入式适配、镜像瘦身、资源限制

26实战项目一：人脸门禁

人脸检测识别门禁系统 · 全流程

27实战项目二：工业缺陷检测

YOLOv8部署、实时报警、数据记录

28实战项目三：智能语音助手

唤醒词、语音识别、TTS合成

29实战项目四：多模态感知

视觉+语音+传感器融合部署

30课程总结与展望

嵌入式AI趋势、学习路径、社区资源