🚀 混合推理架构实战
📍 30章 · 嵌入式GPU & NPU
v2.0
01
⚡
嵌入式AI概述
边缘计算
GPU/NPU定位
混合推理理念
02
🔲
嵌入式GPU架构详解
Jetson
Mali GPU
内存层次
03
🧠
嵌入式NPU架构详解
寒武纪MLU
地平线BPU
瑞芯微NPU
04
⚙️
混合推理框架设计
任务划分
数据流
同步/异步
05
✂️
模型分割技术
层级别
通道级别
动态/静态
06
🔀
算子映射与调度
GPU适配
NPU适配
算子融合
07
💾
内存管理与数据搬运
DDR带宽
DMA
共享内存池
08
⏱️
异构计算同步机制
CPU-GPU-NPU
事件同步
Fence
09
🔌
推理引擎集成
TensorRT
OpenVINO
Tengine/NCNN
10
📊
量化与精度管理
INT8/FP16
NPU校准
精度补偿
11
📈
性能分析工具
Nsight
寒武纪Profiler
Trace
12
🔋
功耗优化策略
DVFS
核心休眠
节能调度
13
🔁
多模型流水线
串行/并行
依赖管理
14
⏰
实时性保障
硬/软实时
优先级反转
看门狗
15
🛡️
安全与隔离
TEE
内存隔离
模型加密
16
👁️
智能安防
人脸检测
属性识别
17
🚗
自动驾驶感知
目标检测
语义分割
18
🏭
工业质检
缺陷检测
分类
19
🎤
智能语音
唤醒
识别
语义理解
20
🧪
调试与验证
单元测试
集成测试
精度对比
21
📦
容器化部署
Docker
Kubernetes
OTA
22
🔧
模型转换工具链
ONNX
量化工具
自定义算子
23
📡
异构通信中间件
ROS2
ZeroMQ
共享内存
24
🔄
故障恢复与容错
模型回退
热备份
状态恢复
25
📋
性能基准测试
MLPerf Edge
Benchmark
报告
26
✨
前沿技术
Transformer加速
稀疏计算
NAS
27
📂
开源项目分析
TAO Toolkit
MindSpore Lite
Paddle Lite
28
📐
硬件选型指南
算力需求
功耗预算
成本评估
29
👥
团队协作与DevOps
代码管理
CI/CD
文档规范
30
🔮
未来展望
存算一体
光计算
量子+AI