什么是嵌入式AI、为什么需要推理框架、主流框架概览与选型痛点。
阿里巴巴开源轻量级推理引擎,支持异构计算,核心API与部署流程。
腾讯开源移动端优化框架,ARM CPU深度优化,模型转换与量化。
阿里巴巴轻量级神经网络引擎,支持端侧训练与推理,性能对比。
Google官方移动端方案,支持硬件加速,模型优化工具链。
微软开源跨平台推理引擎,支持多种后端,嵌入式设备适配。
百度飞桨端侧推理引擎,支持PaddlePaddle模型,轻量化部署。
Apple官方框架,ANE加速,模型转换与集成。
OpenCV自带深度学习模块,轻量级部署,适合传统视觉任务。
CPU推理速度、内存占用、模型加载时间、多线程支持对比。
FP32转FP16、INT8量化、量化感知训练,不同框架量化支持。
NPU、DSP、GPU调用,不同框架硬件适配情况。
ONNX、TFLite、Caffe、PaddlePaddle等格式互转,踩坑记录。
各框架算子列表,自定义算子注册,算子缺失替代方案。
内存池、共享内存、模型裁剪,资源受限设备实践。
线程池设计、异步推理、预处理与推理并行。
模型文件加密、运行时保护、防止模型被窃取。
动态batch、动态分辨率,不同框架实现差异。
检测+跟踪、分类+分割等复合场景框架选型。
端到端延迟分析、帧率保证、低延迟推理技巧。
Android、Linux、RTOS、MCU等不同平台框架适配。
训练→转换→量化→部署→测试,各环节框架选择。
Profiling工具、日志系统、可视化调试,各框架调试手段。
GitHub Star、Issue响应、文档质量、商业支持。
从选型到部署的全过程,实战人脸检测门禁系统。
ARM Linux设备上的工业缺陷检测部署实践。
MCU上的极致优化,语音唤醒词检测。
根据硬件、模型、延迟、功耗自动推荐框架。
TFLite Micro、TensorRT、OpenVINO、TVM等。
选型清单、常见陷阱、学习资源推荐。