异构计算平台CPU与NPU协同设计

📚 共计 30 章节

异构计算概述

什么是异构计算 · CPU与NPU定位差异 · 协同价值与挑战

NPU架构基础

MAC阵列 · 数据流与存储层次 · 典型NPU架构分析

CPU与NPU接口设计

PCIe/CXL总线 · 共享内存与缓存一致性 · 中断与同步

任务划分与调度

算子级/模型级划分 · 静态调度与动态调度策略

数据搬运与内存管理

DMA引擎 · 内存池化 · 数据预取与双缓冲

编程模型与框架适配

PyTorch/TensorFlow NPU后端 · 自定义算子 · 图编译

性能分析与优化工具

Nsight · MindStudio · 瓶颈定位 · Roofline模型

典型应用案例

ResNet协同部署 · YOLO异构加速

功耗与散热管理

功耗模型 · DVFS · 任务迁移与功耗优化

可靠性设计

ECC · 任务重试 · 故障隔离与恢复

虚拟化与多租户

NPU虚拟化 · 资源隔离 · QoS保障

虚拟化多租户

编译器与中间表示

MLIR/TVM · 算子融合 · 自动代码生成

量化与精度管理

INT8/FP16混合精度 · 量化感知训练 · 精度补偿

分布式异构计算

多节点NPU协同 · 模型/数据并行 · NCCL/RCCL

分布式通信

安全与隐私保护

TEE · 模型加密 · 侧信道防御

实时性与确定性

RTOS适配 · 任务优先级 · 确定性延迟

实时确定性

硬件仿真与原型验证

FPGA原型 · gem5模拟器 · 性能建模

软件栈与驱动开发

NPU内核驱动 · 用户态运行时 · 固件微码

驱动软件栈

基准测试与标准

MLPerf · 自定义基准 · 性能对比

存算一体 · 光互连 · 可重构NPU

系统集成与调试

软硬件联合调试 · 日志追踪 · 问题排查

成本与TCO分析

硬件/功耗/运维成本 · TCO模型

生态与社区

OpenCL/SYCL · 昇腾/寒武纪生态 · 社区协作

自动驾驶CPU-NPU协同 · 云端异构调度

AGI算力需求 · 类脑计算 · CPU-NPU融合

实践项目一

搭建CPU-NPU协同推理环境 (模拟器/开发板)

实践项目二

实现矩阵乘法在CPU与NPU上协同执行

实践项目三

MobileNet异构部署与性能调优

实践项目四

动态任务调度器 · CPU与NPU负载均衡

端到端异构计算系统设计 (需求→评估)