🚀 嵌入式AI推理加速 从零到一

📘 30章 · 从推理基础到综合实战
🎯 友好色系 紧凑目录 · 卡片导航
01 AI推理加速概述
什么是推理加速 为什么需要 应用场景 课程路线图
02 嵌入式AI基础
嵌入式系统简介 AI模型挑战 STM32N6 RK3588 / Jetson Orin
03 模型量化入门
什么是量化 对称/非对称 数学原理 精度与性能权衡
04 量化工具实战
TensorRT INT8 ONNX Runtime量化 模型验证
05 模型剪枝技术
结构化/非结构化 L1/L2范数 剪枝微调
06 知识蒸馏
教师-学生模型 蒸馏损失函数 温度调优 实战案例
07 算子优化基础
Conv/ReLU/Gemm 内存访问模式 计算瓶颈识别
08 NEON指令集优化
ARM NEON简介 向量化编程 加速卷积 内联汇编
09 SIMD优化实战
SSE/AVX 数据对齐 循环展开 软件流水
10 内存优化策略
内存池设计 缓存友好数据结构 DMA传输 带宽瓶颈
11 模型部署框架
TensorRT Lite ONNX Runtime TFLite Micro NCNN对比
12 TensorRT实战
模型解析与构建 动态形状 INT8校准器 多流推理
13 ONNX Runtime实战
ONNX模型导出 会话配置 执行提供者 CPU/CUDA/TensorRT
14 TFLite Micro实战
模型转换量化 解释器初始化 算子注册 内存分配
15 NCNN框架实战
模型转换工具链 Vulkan加速 ARM优化 多线程推理
16 模型编译优化
TVM框架 AutoTVM Ansor调度器 Relay IR融合
17 XLA与JIT编译
XLA编译原理 JIT推理应用 算子融合 常量折叠
18 硬件加速器编程
NPU/DSP编程 硬件抽象层 异构计算调度
19 OpenCL与GPU加速
OpenCL基础 工作项与工作组 内存模型 GPU算子
20 Vulkan计算着色器
计算管线 着色器编写 缓冲区管理 多队列提交
21 模型并行与流水线
数据并行 模型并行 流水线并行 混合并行
22 推理引擎架构设计
核心组件 图优化与调度 内存管理 执行引擎
23 模型格式与转换
ONNX/TensorRT/TFLite CoreML互转 自定义格式
24 精度调试与验证
逐层精度对比 余弦相似度 量化误差溯源 回归测试
25 性能Profiling工具
NVIDIA Nsight ARM Streamline Perf工具 火焰图
26 端侧部署实战
Android NNAPI iOS CoreML RTOS部署 裸机方案
27 边缘计算场景
智能摄像头检测 语音唤醒 工业异常检测 可穿戴设备
28 功耗优化策略
DVFS调优 推理任务调度 休眠唤醒 功耗-性能平衡
29 安全与可靠性
模型加密混淆 对抗攻击防御 故障注入 看门狗恢复
30 综合项目实战
模型选型到部署 性能调优报告 项目交付规范