第1章
NPU基础与推理引擎概述
NPU架构简介 · 推理引擎的作用 · 主流NPU平台对比(华为昇腾、瑞芯微、寒武纪)
基础概念
第2章
开发环境搭建
交叉编译工具链配置 · NPU驱动与运行时库安装 · 模型转换工具(RKNN/ACL)部署
环境工具链
第3章
模型格式解析与转换
ONNX/Caffe/TensorFlow结构解析 · 量化参数提取 · 转换为NPU原生格式
模型转换
第4章
算子映射与适配
NPU支持算子清单 · 通用映射表 · 自定义算子注册与Fallback策略
算子适配
第5章
内存管理与数据搬运
NPU DDR/Shared Memory分配 · DMA传输优化 · Cache一致性处理
内存性能
第6章
图优化技术
算子融合(Conv+BN+ReLU)· 常量折叠 · 死代码消除 · 子图分割
优化图
第7章
量化感知训练与后训练量化
对称/非对称量化 · 校准数据集生成 · KL散度与MSE阈值搜索
量化INT8
第8章
NPU Kernel开发入门
TBE(华为)/自定义OP(瑞芯微)开发流程 · 矢量计算与张量指令使用
Kernel开发
第9章
性能Profiling工具使用
NPU Profiler · Timeline分析 · 算子耗时与带宽瓶颈定位
调优Profiling
第10章
多核调度与并行计算
NPU多核任务分配 · 流水线并行 · 数据并行策略
并行调度
第11章
模型剪枝与稀疏化
结构化剪枝 · 非结构化剪枝 · NPU稀疏计算加速原理
剪枝稀疏
第12章
知识蒸馏在NPU部署中的应用
教师-学生网络 · Logit蒸馏 · 特征图蒸馏
蒸馏压缩
第13章
动态形状支持
动态Batch · 动态分辨率处理 · 内存池动态分配策略
动态灵活
第14章
多模型并发执行
模型实例化 · 上下文切换 · 硬件资源分时复用
并发多模型
第15章
端侧推理引擎集成
MNN/TNN/NCNN在NPU上的后端适配
集成端侧
第16章
算子精度调试
数值比对工具 · 逐层精度分析 · FP16/INT8精度损失修复
精度调试
第17章
模型加密与保护
NPU安全区(TEE)部署 · 模型加密解密 · 防逆向工程
安全加密
第18章
低功耗优化
DVFS调优 · NPU休眠唤醒策略 · 计算与访存平衡
功耗节能
第19章
异构计算框架
CPU+NPU+GPU协同 · 任务调度与数据同步
异构协同
第20章
实时推理优化
延迟约束 · 优先级调度 · 抢占式推理
实时低延迟
第21章
模型部署流水线自动化
CI/CD集成 · 自动化测试 · 版本管理
DevOps自动化
第22章
常见NPU平台实战(一)
华为昇腾310/710部署YOLOv5
昇腾YOLOv5
第23章
常见NPU平台实战(二)
瑞芯微RK3588部署MobileNet
瑞芯微MobileNet
第24章
常见NPU平台实战(三)
寒武纪MLU220部署ResNet
寒武纪ResNet
第25章
推理引擎日志与错误处理
日志分级 · 错误码映射 · 异常恢复机制
日志可靠性
第26章
模型热更新与在线升级
动态加载 · 版本回滚 · 一致性校验
热更新在线
第27章
NPU虚拟化与容器化
KVM/容器NPU透传 · 资源隔离
虚拟化容器
第28章
边缘计算场景适配
摄像头数据流接入 · 视频解码与NPU推理流水线
边缘视频
第29章
推理引擎基准测试
性能指标定义(FPS/Latency/功耗)· 标准化测试流程
基准测试
第30章
综合项目实战
从模型训练到NPU部署的全流程优化案例
实战全流程