鸿蒙AI框架集成与端侧推理实战

📚 共计 30 章节

鸿蒙AI生态全景

鸿蒙系统AI能力概述 · 端侧AI与云侧AI对比 · MindSpore Lite/NNRt/HiAI概览 · 课程目标与学习路径

开发环境搭建

DevEco Studio安装与配置 · HarmonyOS SDK下载 · 模拟器与真机准备 · 项目创建与基础工程结构

MindSpore Lite基础

MindSpore Lite简介 · 模型格式(.ms) · 模型转换工具(converter_lite) · 模型加载与编译

MindSpore Lite推理实战

创建推理上下文(Context) · 创建会话(Session) · 输入数据填充 · 执行推理 · 获取输出

MindSpore Lite性能优化

NPU/GPU加速配置 · 线程数设置 · 内存复用 · 模型量化(FP16/INT8) · Benchmark工具使用

NNRt架构与原理 · 与MindSpore Lite的关系 · NNRt核心API介绍

初始化NNRt · 加载OM模型 · 创建输入输出Tensor · 执行推理 · 释放资源

HiAI Foundation引擎

HiAI架构概览 · HiAI与MindSpore Lite对比 · HiAI模型准备(Davinci/OM格式)

HiAI推理实战

初始化HiAI · 创建HiAIModel · 设置输入输出 · 同步/异步推理 · 获取推理结果

多框架统一管理

抽象推理接口设计 · 工厂模式切换后端 · 统一错误码处理 · 性能日志与监控

模型部署流程

模型训练与导出(PyTorch/TF) · 模型转换(ONNX→MindSpore) · 模型加密与签名 · 文件管理

图像分类实战(ResNet50)

模型获取与转换 · 图像预处理(Resize/Normalize) · 推理代码 · Top-5结果解析

目标检测实战(YOLOv5s)

YOLOv5s模型转换 · 输入输出解析 · NMS后处理 · 边界框绘制 · 性能评估

文本分类实战(BERT Tiny)

BERT Tiny模型转换 · Tokenization处理 · 输入掩码与Segment ID · 推理与结果解析

语音识别实战(DeepSpeech)

DeepSpeech模型适配 · 音频特征提取(MFCC) · 流式推理实现 · 实时语音识别Demo

人脸检测与关键点

RetinaFace模型集成 · 人脸检测流程 · 关键点回归 · 活体检测基础

人脸关键点

姿态估计实战(MoveNet)

MoveNet模型转换 · 关键点热力图解析 · 骨架绘制 · 实时姿态跟踪

超分辨率实战(ESPCN)

ESPCN模型适配 · 低分辨率输入处理 · 高分辨率输出重建 · 图像质量评估(PSNR/SSIM)

视频分析实战

视频帧抽取 · 逐帧推理 · 帧间平滑 · 性能优化(跳帧策略、异步流水线)

视频流水线

模型量化与压缩

量化原理(对称/非对称) · PTQ实战 · QAT简介 · 模型剪枝与蒸馏

端侧推理性能调优

Profiling工具使用 · 算子耗时分析 · 内存优化(共享内存/内存池) · 流水线并行设计

调优Profiling

多线程与异步推理

线程池设计 · 异步回调模式 · 生产者-消费者模型 · 帧率控制与延迟优化

多线程异步

模型加密与安全

模型加密方案(AES/RSA) · 安全加载与解密 · 对抗攻击防护基础 · 联邦学习简介

热加载与模型更新

动态模型下载 · 热切换模型 · 版本管理 · AB测试方案

AI应用架构设计

MVP/MVVM架构在AI应用中的应用 · UI与推理线程分离 · 状态管理 · 错误处理与降级

鸿蒙AI能力开放

Media Kit集成(相机预览) · Sensor Kit集成(陀螺仪) · Location Kit集成(地理围栏触发AI)

分布式AI推理

分布式软总线介绍 · 跨设备模型分发 · 协同推理(端-端/端-云) · 数据同步与一致性

分布式协同

AI应用测试与调试

单元测试(UT) · 集成测试(IT) · 性能测试(帧率/功耗/内存) · 日志分析与Bug定位

应用上架与发布

应用签名 · AppGallery Connect配置 · 隐私与权限声明 · 性能基线审核 · 灰度发布

综合实战：智能相册应用

场景定义 · 技术选型 · 模型集成(分类+人脸) · 端侧推理实现 · 性能优化 · 上架复盘