📘 边缘AI · 性能调优手册
30章 从入门到实战 · 友好色系
⚡ TensorFlow Lite
🧠 OpenVINO
📱 ONNX Runtime
🚀 MediaPipe
🎯 点击卡片跳转章节
01
边缘AI概述
边缘计算与AI融合 · 应用场景 · 主流框架对比
02
性能调优基础
延迟/吞吐量/功耗 · 分析工具 · 瓶颈识别
03
模型量化技术
FP32→INT8 · QAT/PTQ · 精度补偿
04
模型剪枝与蒸馏
结构化/非结构化剪枝 · 知识蒸馏 · 联合优化
05
算子优化
Conv/Pooling/FC · 算子融合 · Winograd/FFT
06
内存优化
内存池 · 复用策略 · DMA/零拷贝 · 缓存友好
07
并行计算
数据/模型/流水线并行 · SIMD · NEON/AVX
08
编译优化
TVM/XLA · 图优化 · AutoTVM/Ansor
09
硬件加速
GPU/NPU/DSP/FPGA · CUDA/OpenCL
10
推理引擎优化
TFLite Delegate · ONNX Runtime · OpenVINO插件
11
模型部署
格式转换 · 跨平台策略 (Android/iOS/Linux)
12
性能基准测试
MLPerf/AI Benchmark · 测试报告生成
13
功耗优化
DVFS · 功耗感知调度 · 模型轻量化权衡
14
实时性优化
硬/软实时 · 中断管理 · 看门狗机制
15
多模型流水线
串行/并行 · 数据传递 · 异步推理/回调
16
异构计算
CPU+GPU+NPU协同 · 负载均衡 · 异构内存
17
模型安全与鲁棒性
对抗攻击/防御 · 模型加密 · TEE
18
调试与Profiling
Nsight/Intel Advisor · 热点定位 · 火焰图
19
容器化与编排
Docker边缘适配 · K3s/MicroK8s · 模型热更新
20
边缘AI框架定制
源码编译/裁剪 · 自定义算子 · 插件开发
21
模型压缩进阶
混合精度(FP16/BF16) · 权重共享 · 低秩分解
22
数据预处理优化
加载流水线 · OpenCV/libyuv · 在线/离线增强
23
网络通信优化
gRPC/MQTT · Protobuf/FlatBuffers · 带宽延迟
24
边缘-云协同
模型分片/协同推理 · 联邦学习 · 云端更新
25
特定场景优化·视觉
YOLO/SSD · 视频流管线 · 帧率精度平衡
26
特定场景优化·语音
RNN-T/Conformer · 唤醒词 · 音频前端加速
27
特定场景优化·NLP
BERT/TinyBERT · FlashAttention · 分词加速
28
自动化调优
贝叶斯/遗传算法 · AutoML for Edge · CI/CD
29
案例实战（一）
TFLite + Android · MobileNet · 延迟<30ms
30
案例实战（二）
OpenVINO + NUC · YOLOv5 · 吞吐>30FPS