端侧AI模型 · 从训练到部署实战 | 课程目录

01 AI模型基础与端侧推理概述

什么是端侧AI
端侧AI的应用场景
端侧推理与云端推理对比
课程整体路线图

02 开发环境搭建

安装Python/Miniconda
创建虚拟环境
安装PyTorch/TensorFlow
ONNX Runtime & TensorRT

03 Python基础速通

变量/数据类型
列表/字典
函数与类
文件读写/异常处理

04 深度学习基础回顾

前向传播
激活函数(ReLU/Sigmoid)
损失函数/优化器
过拟合与正则化

05 卷积神经网络(CNN)核心

卷积/池化/全连接
ResNet/MobileNet
感受野与参数计算

06 模型训练实战

CIFAR-10数据集
训练循环/检查点
TensorBoard可视化
训练MobileNetV2

07 模型评估与调优

准确率/召回率/F1
混淆矩阵
超参数搜索/学习率调度
早停法

08 模型导出为ONNX

ONNX简介
PyTorch/TF转ONNX
验证正确性
处理动态轴

09 ONNX模型优化

ONNX Simplifier
常量折叠/节点融合
QAT准备
ONNX Runtime推理

10 模型量化基础

FP32 vs INT8
对称/非对称量化
校准数据集
量化误差分析/TensorRT INT8

11 TensorRT入门

TensorRT架构/安装
构建Engine
序列化/反序列化
推理示例

12 TensorRT高级优化

动态形状/多Profile
INT8校准器实现
层融合/性能Profiling

13 NCNN框架入门

NCNN简介/安装
PyTorch转NCNN
推理示例/量化
Vulkan加速

14 MNN框架入门

MNN简介/安装
MNNConvert转换
推理API/量化工具
性能调优

15 TFLite & MediaPipe

TFLite模型转换
动态/FP16/INT8量化
GPU委托
MediaPipe Pipeline

16 Core ML & iOS部署

coremltools转换
Swift集成Core ML
ANE神经网络引擎
性能测试

17 Android端部署实战

Android Studio配置
JNI调用NCNN/TFLite
CameraX实时推理
UI展示结果

18 iOS端部署实战

Xcode配置
Swift调用Core ML
AVFoundation相机
Metal GPU加速/渲染

19 树莓派与边缘设备部署

树莓派系统配置
ONNX Runtime on ARM
TensorRT on Jetson Nano
功耗与性能平衡

20 模型剪枝技术

结构化/非结构化剪枝
L1范数/通道剪枝
训练后剪枝与重训练
torch-pruning工具

21 知识蒸馏

教师-学生架构
软标签/温度系数
蒸馏损失/特征层蒸馏
ResNet蒸馏到MobileNet

22 模型加密与安全

AES模型加密
TFLite/NCNN加密
安全推理/Secure Enclave
混淆与防逆向

23 端侧推理引擎对比

TensorRT vs NCNN vs MNN
TFLite vs Core ML
性能基准测试
选型决策树

24 多线程与异步推理

线程池设计
Pipeline并行
异步推理队列
CPU/GPU负载均衡

25 内存优化与垃圾回收

Tensor内存管理
内存池/共享内存
避免内存泄漏
Android/iOS监控

26 端侧模型更新与OTA

模型版本管理
增量/差分更新
OTA架构设计
回滚策略

27 端侧AI应用案例1: 图像分类App

Android/iOS全流程
从训练到上架
性能优化实战

28 端侧AI应用案例2: 实时目标检测

YOLOv5端侧部署
NCNN/TensorRT优化
mAP与FPS平衡

29 端侧AI应用案例3: 语音唤醒与KWS

MFCC特征提取
TFLite Micro部署
低功耗设计

30 课程总结与进阶方向

端侧AI趋势(Transformer/NPU)
学习资源/开源项目
职业发展建议