嵌入式AI的定义、发展历程、与传统AI的区别、典型应用场景(智能家居、工业视觉、自动驾驶)。
模型训练→模型转换→量化压缩→部署推理的完整链路,各环节关键挑战。
主流嵌入式AI芯片(NVIDIA Jetson、Rockchip RK3588、算能BM1684、地平线征程系列)架构对比与选型。
轻量化模型设计原则(MobileNet、ShuffleNet、EfficientNet-Lite),训练时如何为部署做准备。
PyTorch/TensorFlow模型导出为ONNX格式,算子兼容性排查,动态轴与静态轴处理。
TensorRT的安装与配置,模型解析与Engine构建,FP16/INT8量化,动态batch处理。
Rockchip NPU的RKNN模型转换流程,量化校准数据集准备,性能调优技巧。
地平线征程系列模型转换(OE包与hb_perf工具),模型精度与速度的平衡策略。
算能BM1684/BM1684X的模型转换(BMNet→BModel),多核调度与流水线优化。
FP32→FP16→INT8→INT4的量化原理,对称量化与非对称量化,量化误差来源。
PTQ的流程与工具(TensorRT PTQ、RKNN PTQ),校准数据集的选择策略。
QAT的原理与实现(PyTorch的torch.quantization),模拟量化与伪量化节点。
结构化剪枝与非结构化剪枝,通道剪枝实现(基于L1范数),剪枝后的微调策略。
教师-学生模型架构,软标签与硬标签,温度系数调节,蒸馏在嵌入式场景的实践。
Conv+BN+ReLU融合,常量折叠,死节点消除,TensorRT/ONNX Runtime的图优化机制。
内存池管理,张量复用,就地操作(in-place),减少显存碎片的技巧。
生产者-消费者模型,异步推理与预处理并行,CPU-GPU/NPU协同工作。
模型加密方案(AES/RSA),硬件安全模块(HSM)集成,防止模型窃取。
TensorRT Profiler、RKNN Toolkit Profiling、perf工具的使用,瓶颈定位方法。
逐层输出对比(余弦相似度、欧氏距离),量化敏感层分析,混合精度部署。
ONNX Runtime C++ API调用,TensorRT C++ API封装,内存管理与异常处理。
Python推理脚本编写,Flask/FastAPI封装推理服务,WebSocket实时推流。
V4L2摄像头采集,OpenCV图像预处理(Resize、Normalize、Color Convert),零拷贝优化。
ARM Compute Library(ACL)与NCNN框架,NEON指令集加速,CPU推理优化。
TinyML与TensorFlow Lite Micro,CMSIS-NN优化,资源受限场景的模型设计。
目标检测+跟踪+识别的多模型串联,共享内存与事件同步机制。
远程模型升级方案,差分更新减少带宽,版本管理与回滚机制。
端侧推理+云端训练,边缘节点管理,联邦学习在嵌入式场景的探索。
基于RK3588的智能门禁系统(人脸检测+识别),从模型训练到部署的全流程。
基于Jetson Orin的工业缺陷检测,TensorRT加速与多路视频流处理。